CheXWorld：探索用于放射影像表征学习的图像世界建模

人类可以建立内部世界模型，编码常识知识，告诉他们世界如何运作并预测其行动的后果。在近期的一些初步工作中，这一概念已成为建立通用机器学习模型的一个有前景的方向，例如用于视觉表示学习。在本文中，我们提出了 CheXWorld，这是首次尝试构建用于放射影像的自监督世界模型。具体来说，我们的工作开发了一个统一框架，同时建模合格放射科医生所需的三方面医学知识：1）局部解剖结构，描述局部组织的细粒度特征（例如，结构、形状和纹理）；2）整体解剖布局，描述人体的整体组织（例如，器官和骨骼的布局）；3）领域变化，鼓励 CheXWorld 建模放射影像不同外观领域之间的转换（例如，由不同医院、设备或患者收集的放射影像导致的清晰度、对比度和曝光度的变化）。经验上，我们设计了量身定制的定性和定量分析，揭示 CheXWorld 成功捕获了这三个维度的医学知识。此外，在八个医学图像分类和分割基准上的迁移学习实验表明，CheXWorld 显著优于现有的自监督学习方法和大型医学基础模型。代码和预训练模型可在 https://github.com/LeapLabTHU/CheXWorld 获取。