RobustDexGrasp：从单视图感知中稳健灵巧地抓取通用物体

从单视图感知中鲁棒地抓取各种物体是灵巧机器人的基础。先前的工作通常依赖于完全可观察的物体、专家演示或静态抓取姿势，这限制了它们的泛化能力和对外部干扰的适应性。在本文中，我们提出了一个基于强化学习的框架，该框架能够从单视图感知中零样本动态灵巧抓取各种未见过的物体，同时执行适应性运动以应对外部干扰。我们利用以手为中心的对象表示进行形状特征提取，该表示强调与交互相关的局部形状，从而增强了对形状变化和不确定性的鲁棒性。为了使手能够有效地适应有限观察下的干扰，我们提出了一种混合课程学习策略，该策略首先利用模仿学习来提炼使用特权实时视觉-触觉反馈训练的策略，然后逐渐转移到强化学习，以学习由观察噪声和动态随机化引起的干扰下的适应性运动。我们的实验证明了在抓取随机姿势的未见过物体方面的强大泛化能力，在 247,786 个模拟物体中实现了 97.0% 的成功率，在 512 个真实物体中实现了 94.6% 的成功率。我们还通过定量和定性评估证明了我们的方法对各种干扰（包括未观察到的物体运动和外力）的鲁棒性。项目页面：https://zdchan.github.io/Robust_DexGrasp/