AI论文精选
⏶78

演化编程技能网络

发表
由 Bang LiuBang Liu 提交
作者: HAOCHEN SHIHaochen Shi, Xingdi Yuan, Bang Liu

摘要

AI 生成总结
程序化技能网络（Programmatic Skill Network）通过可执行的符号程序实现持续的技能获取，这些程序通过反思、渐进优化和结构重构机制不断演进。
我们研究了在开放式具身环境中的持续技能习得，智能体必须在其中构建、优化并复用一个不断扩展的可执行技能库。我们提出了程序化技能网络（Programmatic Skill Network, PSN），这是一个将技能定义为可执行符号程序的框架，这些程序构成了一个随经验演化的组合网络。PSN 定义了通过大语言模型实例化的三个核心机制：(1) REFLECT，用于对技能组合进行结构化故障定位；(2) 具有成熟度感知更新门控的渐进式优化，在保持不确定技能塑性的同时稳定可靠技能；(3) 回滚校验下的规范化结构重构，以保持网络的紧凑性。我们进一步展示了 PSN 的学习动力学在结构上与神经网络训练具有相似性。在 MineDojo 和 Crafter 上的实验证明了其在开放式任务分布中具有鲁棒的技能复用能力、快速适应性以及强大的泛化能力。\footnote{我们计划开源代码。}
查看 arXiv 页面查看 PDF
演化编程技能网络

评论

Bang LiuBang Liu
论文提交者

我们研究了在开放式具身环境中的持续技能习得，代理必须构建、完善并重用一个不断扩展的可执行技能库。我们引入了程序化技能网络（PSN），这是一个将技能定义为可执行符号程序的框架，这些程序构成了一个通过经验演化的组合网络。PSN 定义了通过大语言模型实例化的三个核心机制：(1) REFLECT，用于对技能组合进行结构化故障定位；(2) 具有成熟度感知更新门控的渐进式优化，在保持不确定技能塑性的同时稳定可靠技能；(3) 回滚验证下的规范结构重构，以保持网络的紧凑性。我们进一步展示了 PSN 的学习动态在结构上与神经网络训练具有平行性。在 MineDojo 和 Crafter 上的实验证明了其在开放式任务分布中具有鲁棒的技能重用、快速适应和强大的泛化能力。