SkillBlender: 通过技能融合迈向多功能人形机器人全身运动与操作

人形机器人凭借其灵活性和类人形态，在各种环境中完成日常任务方面具有巨大潜力。最近的工作在利用最优控制或强化学习进行人形机器人全身控制和移动操作方面取得了显著进展。然而，这些方法需要为每个任务进行繁琐的特定任务调整才能实现令人满意的行为，这限制了它们在日常场景中处理各种任务的多功能性和可扩展性。为此，我们引入了SkillBlender，一个新颖的分层强化学习框架，用于实现通用人形机器人移动操作。SkillBlender首先预训练目标条件下的任务无关原始技能，然后动态地混合这些技能，以最少的任务特定奖励工程来完成复杂的移动操作任务。我们还引入了SkillBench，一个并行、跨实体且多样化的模拟基准，包含三种实体、四种原始技能和八项具有挑战性的移动操作任务，并附带一套平衡准确性和可行性的科学评估指标。大量的模拟实验表明，我们的方法显著优于所有基线，同时自然地规范行为以避免奖励欺骗，从而在我们的日常场景中为各种移动操作任务提供更准确和可行的动作。我们的代码和基准将向社区开源，以促进未来的研究。项目页面：https://usc-gvl.github.io/SkillBlender-web/。