MIRAGE:用于全面视网膜OCT图像分析的多模态基础模型与基准

发表
José MoranoJosé Morano 提交
作者: José MoranoJosé Morano, Botond Fazekas, Emese Sükei, Ronald Fecso, Taha Emre, Markus Gumpinger, Georg Faustmann, Marzieh Oghbaie, Ursula Schmidt-Erfurth, Hrvoje Bogunović

摘要

人工智能(AI)已成为协助临床医生分析眼科图像(如光学相干断层扫描(OCT))的基本工具。然而,开发AI模型通常需要大量的标注,并且现有模型在独立的、未见过的数据上表现不佳。基础模型(FM),即在大量无标签数据集上训练的大型AI模型,已在克服这些挑战方面展现出潜力。尽管如此,现有的眼科基础模型缺乏广泛的验证,尤其是在分割任务方面,且只专注于单一成像模式。在此背景下,我们提出了MIRAGE,一种用于分析OCT和扫描激光眼底镜(SLO)图像的新型多模态基础模型。此外,我们还提出了一个新的评估基准,包含OCT/SLO分类和分割任务。与通用和专用基础模型以及分割方法的比较表明,MIRAGE在这两类任务中均表现出色,突显了其作为开发用于视网膜OCT图像分析的稳健AI系统基础的适用性。MIRAGE和评估基准均已公开:https://github.com/j-morano/MIRAGE
查看 arXiv 页面查看 PDF
MIRAGE:用于全面视网膜OCT图像分析的多模态基础模型与基准

评论

José MoranoJosé Morano
论文作者
论文提交者

论文“用于全面视网膜OCT图像分析的多模态基础模型和基准”的预印本。