⏶21
EnerVerse-AC：基于动作条件的具身环境设想
发表
由 
Siyuan 提交
Siyuan 提交作者: 
Yuxin Jiang, 
Shengcong Chen, 
Siyuan Huang, 
Liliang Chen, Pengfei Zhou, Yue Liao, Xindong He, Chiming Liu, 
Hongsheng Li, 
Maoqing Yao, 
Guanghui Ren
Yuxin Jiang, Shengcong Chen, Siyuan Huang, Liliang Chen, Pengfei Zhou, Yue Liao, Xindong He, Chiming Liu, Hongsheng Li, Maoqing Yao, Guanghui Ren摘要
机器人模仿学习已经从解决静态任务发展到处理动态交互场景，但由于需要与动态环境进行实时交互，测试和评估仍然成本高昂且具有挑战性。我们提出了 EnerVerse-AC (EVAC)，这是一种动作条件下的世界模型，可根据代理预测的动作生成未来的视觉观测结果，从而实现真实且可控的机器人推理。在现有架构的基础上，EVAC 引入了多级别动作调节机制和光线图编码，用于动态多视图图像生成，同时扩展了包含多样化失败轨迹的训练数据以提高泛化能力。作为数据引擎和评估器，EVAC 将人类收集的轨迹增强为多样化数据集，并生成逼真的、动作条件的视频观测结果用于策略测试，从而消除了对物理机器人或复杂模拟的需求。这种方法显著降低了成本，同时在机器人操作评估中保持了高保真度。大量实验验证了我们方法的有效性。代码、检查点和数据集可在 <https://annaj2178.github.io/EnerverseAC.github.io> 找到。
项目页面：https://annaj2178.github.io/EnerverseAC.github.io/
开源代码：https://github.com/AgibotTech/EnerVerse-AC
概述：
应用：
EVAC 可用作策略评估器和数据引擎。