SAMed-2:选择性记忆增强的医疗通用分割模型

发表
Song DingjieSong Dingjie 提交
作者: Zhiling Yan, Sifan Song, Song DingjieDingjie Song, Yiwei Li, Rong Zhou, Weixiang SunWeixiang Sun, Zhennong Chen, Sekeun Kim, Hui Ren, Tianming Liu, Quanzheng Li, Xiang Li, Lifang He, Lichao Sun

摘要

近期“分割一切”(segment anything) 的努力通过从大规模数据中学习显示出前景,但由于医疗数据的复杂性、嘈杂的标注以及跨不同模态和解剖结构的持续学习需求,将此类模型直接应用于医学图像仍然具有挑战性。在这项工作中,我们提出了 SAMed-2,一个基于 SAM-2 架构构建的用于医学图像分割的新基础模型。具体而言,我们在图像编码器中引入了一个时间适配器以捕获图像关联,并引入了一个置信度驱动的记忆机制,用于存储高置信度特征以供后续检索。这种基于记忆的策略对抗了大规模医疗数据集中普遍存在的噪声,并在遇到新任务或新模态时减轻了灾难性遗忘。为了训练和评估 SAMed-2,我们整理了 MedBank-100k,这是一个涵盖七种成像模态和 21 项医学分割任务的综合数据集。我们对内部基准和 10 个外部数据集进行的实验表明,在多任务场景中,其性能优于最先进的基线模型。代码可在以下链接获取:https://github.com/ZhilingYan/Medical-SAM-Bench
查看 arXiv 页面查看 PDF

评论

Song DingjieSong Dingjie
论文作者
论文提交者

代码可在以下网址获取:此处链接