迈向具有人类先验知识的、可供性感知的机器人灵巧抓取

一个能够通用抓取物体的灵巧手是通用具身人工智能发展的基础。然而，以往的方法狭隘地关注低层次的抓取稳定性指标，忽略了对下游操作至关重要的“功能可供性感知定位”和“类人姿态”。为了解决这些限制，我们提出了AffordDex，这是一个新颖的框架，采用两阶段训练，学习一种通用的抓取策略，该策略对运动先验和物体功能可供性都有固有的理解。在第一阶段，轨迹模仿器在大量人类手部动作语料库上进行预训练，以灌输一种强大的自然运动先验。在第二阶段，训练一个残差模块，将这些通用的类人动作适应到特定的物体实例。这种精修关键地由两个组成部分引导：我们的“负功能可供性感知分割”（NAA）模块，它识别功能上不合适的接触区域；以及一个特权教师-学生蒸馏过程，确保最终的基于视觉的策略高度成功。广泛的实验表明，AffordDex不仅实现了通用的灵巧抓取，而且在姿态上保持了显著的类人特性，并在接触位置上功能恰当。因此，AffordDex在已见物体、未见实例甚至全新类别上都显著优于最先进的基线方法。