⏶20
Curia：放射科的多模态基础模型
发表
由 
Corentin Dancette 提交
Corentin Dancette 提交作者: Corentin Dancette, Julien Khlaut, Antoine Saporta, Helene Philippe, Elodie Ferreres, Baptiste Callard, Théo Danielou, Léo Alberge, Léo Machado, Daniel Tordjman, Julie Dupuis, Korentin Le Floch, Jean Du Terrail, Mariam Moshiri, Laurent Dercle, Tom Boeken, Jules Gregory, Maxime Ronot, François Legou, Pascal Roux, Marc Sapoval, Pierre Manceron, Paul Hérent
摘要
AI 生成总结
Curia 是一种在大量横断面成像数据上训练的基础模型，它在多项放射学任务中表现出卓越的性能，并在跨模态和低数据设置中展现出涌现特性。AI 辅助放射学解释主要基于狭窄的、单一任务模型。这种方法对于涵盖广泛的成像模态、疾病和放射学发现来说是不切实际的。基础模型 (FM) 具有在模态和低数据环境中广泛泛化的潜力。然而，这种潜力在放射学领域仍未充分实现。我们推出了 Curia，一个在主要医院几年的全部横断面成像输出上训练的基础模型，据我们所知，这是最大的此类真实数据语料库，包含 150,000 次检查（130 TB）。在一个新近整理的 19 任务外部验证基准上，Curia 能够准确识别器官，检测脑出血和心肌梗死等疾病，并预测肿瘤分期结果。Curia 的性能达到或超过了放射科医生和近期基础模型的性能，并在跨模态和低数据领域展现出临床上显著的涌现特性。为了加速进展，我们将在 https://huggingface.co/raidium/curia 上发布我们的基础模型的权重。
评论
wangxiaokunCorentin Dancette论文提交者
@shawn0wang 不幸的是，我们获得的数据是与一家私立医院合作获得的，因此我们不允许将其开源。不过，市面上有许多可供您使用的公开训练数据集，例如：
Imaging data commons（提供大量 DICOM 影像）
CT-RATE (https://huggingface.co/datasets/ibrahimhamamci/CT-RATE)
FOMO 60K (https://fomo25.github.io/)
OpenMind dataset (https://huggingface.co/datasets/AnonRes/OpenMind)
这篇论文提出了一种用于 CT 和 MRI 图像的新型最先进视觉 Transformer 基础模型。它使用了 2 亿张图像的 SSL 进行预训练。