⏶5
CLIPGaussian:基于高斯泼溅的通用多模态风格迁移
发表
由
Kornel 提交
作者:
Kornel Howil, Joanna Waczyńska, Piotr Borycki, Tadeusz Dziarmaga, Marcin Mazur, Przemysław Spurek
摘要
高斯泼溅 (GS) 最近成为一种从 2D 图像渲染 3D 场景的有效表示方法,并已扩展到图像、视频和动态 4D 内容。然而,将风格迁移应用于基于 GS 的表示,尤其是在简单的颜色变化之外,仍然具有挑战性。在这项工作中,我们引入了 CLIPGaussians,这是第一个统一的风格迁移框架,支持跨多种模态的文本和图像引导风格化:2D 图像、视频、3D 对象和 4D 场景。我们的方法直接对高斯基元进行操作,并作为一个插件模块集成到现有的 GS 管线中,无需大型生成模型或从头开始重新训练。CLIPGaussians 方法能够在 3D 和 4D 设置中联合优化颜色和几何形状,并在视频中实现时间一致性,同时保持模型大小。我们在所有任务中展示了卓越的风格保真度和一致性,验证了 CLIPGaussians 作为多模态风格迁移的通用且高效的解决方案。
代码(待添加):https://github.com/kornelhowil/CLIPGaussian网站:https://kornelhowil.github.io/CLIPGaussian/