⏶6
我们是否已经完成了以对象为中心的学习?
04月09日发表
04月10日由
Ameya Prabhu 提交

作者:
Alexander Rubinstein,
Ameya Prabhu, Matthias Bethge,
Seong Joon Oh

摘要
以对象为中心的学习 (OCL) 旨在学习仅编码对象的表示,使其与场景中的其他对象或背景线索隔离。
这种方法支撑着各种目标,包括分布外 (OOD) 泛化、样本高效组合和结构化环境建模。
大多数研究都集中在开发无监督机制,将对象分离到表示空间中的离散槽位中,并使用无监督对象发现进行评估。然而,借助最近的样本高效分割模型,我们可以在像素空间中分离对象并独立编码它们。这在 OOD 对象发现基准上实现了卓越的零样本性能,可扩展到基础模型,并且可以开箱即用地处理可变数量的槽位。因此,OCL 方法获得以对象为中心的表示的目标已基本实现。尽管取得了这一进展,但仍存在一个关键问题:场景中分离对象的能力如何促进更广泛的 OCL 目标,例如 OOD 泛化?我们通过 OCL 的视角来解决由虚假背景线索引起的 OOD 泛化挑战。我们提出了一个新颖的、无需训练的探针,称为应用掩码的以对象为中心的分类 (OCCAM),证明了基于分割的单个对象编码明显优于基于槽位的 OCL 方法。然而,现实世界应用中的挑战仍然存在。我们为 OCL 社区提供了工具箱,以使用可扩展的以对象为中心的表示,并专注于实际应用和基本问题,例如理解人类认知中的对象感知。我们的代码可在 https://github.com/AlexanderRubinstein/OCCAM{here} 获取。
引发思考的文章,旨在启动关于以对象为中心的学习的讨论