CLIPGaussian:基于高斯泼溅的通用多模态风格迁移

发表
KornelKornel 提交
作者: KornelKornel Howil, Joanna Waczyńska, Piotr Borycki, Tadeusz Dziarmaga, Marcin Mazur, Przemysław Spurek

摘要

高斯泼溅 (GS) 最近成为一种从 2D 图像渲染 3D 场景的有效表示方法,并已扩展到图像、视频和动态 4D 内容。然而,将风格迁移应用于基于 GS 的表示,尤其是在简单的颜色变化之外,仍然具有挑战性。在这项工作中,我们引入了 CLIPGaussians,这是第一个统一的风格迁移框架,支持跨多种模态的文本和图像引导风格化:2D 图像、视频、3D 对象和 4D 场景。我们的方法直接对高斯基元进行操作,并作为一个插件模块集成到现有的 GS 管线中,无需大型生成模型或从头开始重新训练。CLIPGaussians 方法能够在 3D 和 4D 设置中联合优化颜色和几何形状,并在视频中实现时间一致性,同时保持模型大小。我们在所有任务中展示了卓越的风格保真度和一致性,验证了 CLIPGaussians 作为多模态风格迁移的通用且高效的解决方案。
查看 arXiv 页面查看 PDF

评论