⏶2
MedSAMix:一种用于医学图像分割的免训练模型合并方法
发表
由
Guinan-Su 提交
作者:
Yanwu Yang,
Guinan Su, Jiesi Hu, Francesco Sammarco, Jonas Geiping, Thomas Wolfers
摘要
通用医学图像分割模型已成为一种有前途的范式,因为它们在各种任务中具有强大的泛化能力,在广泛的临床应用中显示出巨大潜力。这种潜力部分得益于通用视觉模型的成功,例如分割一切模型(SAM),它启发了各种医学分割任务的微调变体的开发。然而,MedSAM 等微调变体是在相对有限的医学成像数据上训练的,这些数据通常存在异质性、稀疏注释和分布漂移问题。这些挑战限制了它们在广泛的医学分割任务中进行泛化的能力。为此,我们提出了 MedSAMix,一种免训练的模型融合方法,它整合了通用模型(例如 SAM)和专业模型(例如 MedSAM)在医学图像分割方面的优势。与依赖手动配置且通常导致次优结果的传统模型融合方法不同,我们提出了一种零阶优化方法,以自动发现最优的逐层融合解决方案。此外,对于临床应用,我们开发了两种方案,通过单任务优化和多目标优化分别满足不同场景下领域特异性和泛化性的需求。对 25 项医学分割任务的广泛评估表明,MedSAMix 有效地减轻了模型偏差,并持续提高了领域特异性精度和泛化性,在专业任务上实现了 6.67% 的改进,在多任务评估中实现了 4.37% 的改进。
代码地址:https://github.com/podismine/MedSAMix