FastTD3：简单、快速、强大的强化学习，用于人形机器人控制

强化学习（RL）在机器人学领域取得了显著进展，但其复杂性和漫长的训练时间仍然是主要的瓶颈。在这份报告中，我们引入了 FastTD3，一种简单、快速且功能强大的 RL 算法，它显著加快了人形机器人在流行套件（例如 HumanoidBench、IsaacLab 和 MuJoCo Playground）中的训练速度。我们的方法非常简单：我们训练了一个离策略 TD3 代理，并进行了一些修改，包括并行模拟、大批量更新、分布评论家以及精心调整的超参数。FastTD3 在单个 A100 GPU 上解决了 HumanoidBench 中的一系列任务，耗时不到 3 小时，同时在训练过程中保持稳定。我们还提供了 FastTD3 的一个轻量级且易于使用的实现，以加速机器人领域的 RL 研究。