Brain-IT：通过脑交互 Transformer 从 fMRI 重建图像

通过fMRI脑电图重建人们所见的图像，为研究人脑提供了一种非侵入性窗口。尽管最近由于扩散模型的发展取得了进展，但现有方法通常缺乏对实际所见图像的忠实性。我们提出了“Brain-IT”，一种受大脑启发的方法，通过大脑交互 Transformer (BIT) 解决了这一挑战，允许功能相似的脑体素簇之间进行有效交互。这些功能簇由所有受试者共享，作为整合脑内和脑间信息的构建块。所有模型组件都由所有簇和受试者共享，从而可以用有限的数据进行高效训练。为了指导图像重建，BIT 预测了两种互补的局部补丁级图像特征：(i) 高级语义特征，将扩散模型引向图像的正确语义内容；(ii) 低级结构特征，有助于使用图像的正确粗略布局初始化扩散过程。BIT 的设计实现了信息从脑体素簇到局部图像特征的直接流动。通过这些原则，我们的方法通过 fMRI 实现的图像重建忠实地重建了所见图像，并且在视觉和标准客观指标上都超越了当前的 SotA 方法。此外，仅使用新受试者 1 小时的 fMRI 数据，我们就能获得与当前在 40 小时完整记录上训练的方法相当的结果。