降质建模多路径扩散用于可调谐超透镜摄影

超构透镜为超紧凑计算成像提供了巨大潜力，但面临复杂的光学退化和计算恢复困难的挑战。现有方法通常依赖精确的光学校准或庞大的配对数据集，这对于真实世界的成像系统来说并非易事。此外，对推理过程缺乏控制通常会导致不希望出现的幻觉伪影。我们引入了用于可调超构透镜摄影的退化建模多路径扩散方法，该方法利用预训练模型中强大的自然图像先验知识，而不是依赖大型数据集。我们的框架使用正向、中性、负向提示路径来平衡高频细节生成、结构保真度和抑制超构透镜特有的退化，同时结合伪数据增强。可调解码器能够在保真度和感知质量之间实现受控的权衡。此外，空间变化的退化感知注意力（SVDA）模块自适应地建模复杂的光学和传感器引起的退化。最后，我们设计并构建了一个毫米级MetaCamera用于真实世界验证。大量结果表明，我们的方法优于最先进的方法，实现了高保真和锐利的图像重建。更多资料：https://dmdiff.github.io/。