⏶12
SAGE:为具身智能构建的可扩展智能体 3D 场景生成
发表
由
taesiri 提交
作者: Hongchi Xia, Xuan Li, Zhaoshuo Li, Qianli Ma, Jiashu Xu, Ming-Yu Liu, Yin Cui, Tsung-Yi Lin, Wei-Chiu Ma, Shenlong Wang, Shuran Song, Fangyin Wei
摘要
AI 生成总结
SAGE 是一个智能体框架,通过将布局和物体组合生成器与评估判别器相结合,自动为具身智能生成可模拟的 3D 环境,以确保语义合理性和物理稳定性。具身智能体的现实数据采集依然昂贵且不安全,急需可扩展、真实且支持模拟器的 3D 环境。然而,现有的场景生成系统通常依赖基于规则或特定任务的流水线,产生的场景带有伪影且物理无效。我们提出了 SAGE,一个智能体框架,给定用户指定的具身任务(例如“拿起碗放在桌子上”),它能理解意图并自动大规模生成模拟就绪的环境。该智能体将用于布局和物体组合的多个生成器与评估语义合理性、视觉真实感和物理稳定性的判别器(critics)相结合。通过迭代推理和自适应工具选择,它不断自我精炼场景,直至满足用户意图和物理有效性。生成的环境真实、多样,可直接部署在现代模拟器中进行策略训练。纯在此类数据上训练的策略表现出明显的缩放趋势,并能泛化到未见过的物体和布局,证明了模拟驱动缩放对具身人工智能的前景。代码、演示和 SAGE-10k 数据集可在项目主页找到:https://nvlabs.github.io/sage。
评论
论文提交者
