通过玩随机玩具学习掌握任何东西

机器人操纵策略常常难以泛化到新颖物体，限制了其实际应用。相比之下，认知科学表明，儿童通过掌握一小组简单的玩具，然后将所学知识应用于更复杂的物品，从而发展出可泛化的灵巧操纵技能。受此启发，我们研究机器人是否也能实现类似的泛化能力。我们的结果表明，机器人可以学习可泛化的抓取，利用由四种形状基元（球体、立方体、圆柱体和环）随机组装而成的物体。我们证明，通过对这些“玩具”进行训练，可以实现对真实世界物体的鲁棒泛化，并产生强大的零样本（zero-shot）性能。至关重要的是，我们发现这种泛化的关键是我们提出的检测池化机制所诱导的以物体为中心的视觉表示。在模拟和实体机器人上进行评估，我们的模型在 YCB 数据集上实现了 67% 的真实世界抓取成功率，优于依赖于 substantially 更多领域内数据的最先进方法。我们进一步研究了通过改变训练玩具的数量和多样性以及每个玩具的演示次数来缩放零样本泛化性能。我们相信这项工作为机器人操纵中可扩展和可泛化的学习提供了一条有前景的路径。演示视频、代码、检查点和我们的数据集可在我们的项目页面上找到：https://lego-grasp.github.io/ 。