UnMix-NeRF：光谱解混遇上神经辐射场

基于神经辐射场 (NeRF) 的分割方法侧重于对象语义，并且仅依赖于 RGB 数据，缺乏固有的材料属性。这种局限性限制了准确的材料感知，而这对于机器人技术、增强现实、模拟及其他应用至关重要。我们引入了 UnMix-NeRF，这是一个将光谱解混集成到 NeRF 中的框架，能够实现高光谱新视图合成和无监督材料分割。我们的方法通过漫反射和镜面反射分量对光谱反射率进行建模，其中学习到的全局端元字典代表纯材料特征，而每点丰度则捕获其分布。对于材料分割，我们利用沿学习到的端元进行的光谱特征预测，从而实现无监督材料聚类。此外，UnMix-NeRF 通过修改学习到的端元字典，可以实现场景编辑，从而灵活地进行基于材料的外观操作。大量实验验证了我们的方法，表明其在光谱重建和材料分割方面优于现有方法。项目页面：https://www.factral.co/UnMix-NeRF。