⏶1
Dynadiff：从持续演变的fMRI中进行图像的单阶段解码
发表
由 
Careil 提交
Careil 提交作者: Marlène Careil, 
Yohann Benchetrit, Jean-Rémi King
Yohann Benchetrit, Jean-Rémi King摘要
脑到图像解码近期因生成式 AI 模型的发展和大型超高场功能磁共振成像（fMRI）数据的可用性而得到推进。然而，现有方法依赖于复杂的多阶段流程和预处理步骤，这些步骤通常会压缩大脑记录的时间维度，从而限制了时间分辨的脑解码器。在此，我们介绍了 Dynadiff（动态神经活动扩散图像重建），这是一种新的单阶段扩散模型，专为从动态演变的 fMRI 记录中重建图像而设计。我们的方法有三个主要贡献。首先，与现有方法相比，Dynadiff 简化了训练。其次，我们的模型在时间分辨的 fMRI 信号上优于最先进的模型，尤其是在高级语义图像重建指标上，同时在压缩时间的预处理 fMRI 数据上保持竞争力。第三，这种方法允许精确地刻画图像表征在大脑活动中的演变。总而言之，这项工作为时间分辨的脑到图像解码奠定了基础。
近期，生成式人工智能模型的进展以及大型超高场功能性磁共振成像（fMRI）数据的可用性，共同推动了脑-图像解码技术的发展。然而，现有方法依赖于复杂的多阶段流程和预处理步骤，这些步骤通常会压缩大脑记录的时间维度，从而限制了时间分辨率高的脑解码器。在这里，我们引入了Dynadiff（用于图像重建的动态神经活动扩散），这是一种新的单阶段扩散模型，专为从动态演变的fMRI记录中重建图像而设计。我们的方法提供了三个主要贡献。首先，与现有方法相比，Dynadiff简化了训练过程。其次，我们的模型在时间分辨率高的fMRI信号上表现优于最先进的模型，特别是在高级语义图像重建指标上，同时在压缩时间维度的预处理fMRI数据上保持竞争力。第三，这种方法能够精确刻画图像表征在大脑活动中的演变过程。总的来说，这项工作为时间分辨率高的脑-图像解码奠定了基础。