⏶8
达尔文-哥德尔机器：自我改进智能体的开放式演化
发表
由 
Shengran HU 提交
Shengran HU 提交作者: Jenny Zhang, Shengran Hu, Cong Lu, Robert Lange, Jeff Clune
Shengran Hu, Cong Lu, Robert Lange, Jeff Clune摘要
今天的AI系统采用人工设计的固定架构，无法自主地、持续地改进自身。AI的进步本身可以实现自动化。如果安全地进行，这将加速AI的发展，使我们更快地享受到其益处。元学习可以自动化新算法的发现，但受限于一阶改进和人类对合适搜索空间的设计。哥德尔机器（G"odel machine）提出了一种理论上的替代方案：一种以可证明有益的方式重复修改自身的自改进AI。不幸的是，实践中无法证明大多数修改都是净受益的。我们引入了达尔文哥德尔机器（Darwin G"odel Machine, DGM），这是一种自改进系统，它迭代地修改自身代码（从而也提高了修改自身代码库的能力），并使用编码基准对每次更改进行经验验证。受达尔文进化论和开放性研究的启发，DGM维护了一个生成的编码代理档案。它通过从档案中采样一个代理，并利用基础模型创建该采样代理的一个新的、有趣的变体来扩充档案。这种开放式探索形成了一个由多样化、高质量代理组成的不断增长的树状结构，并允许并行探索搜索空间中的许多不同路径。经验上，DGM自动提高了其编码能力（例如，更好的代码编辑工具、长上下文窗口管理、同行评审机制），使SWE-bench上的性能从20.0%提高到50.0%，在Polyglot上的性能从14.2%提高到30.7%。此外，DGM显著优于没有自改进或开放式探索的基线。所有实验均在安全预防措施（例如，沙盒、人工监督）下进行。DGM是迈向自改进AI的重要一步，它能够沿着通向无限创新的路径收集自己的垫脚石。
人工智能研究的一个长期目标是创造能够无限期学习的人工智能。实现该目标的一个诱人途径是开发一种通过重写自身代码（包括负责学习的代码）来改进自身的人工智能。这个想法，被称为哥德尔机（Gödel Machine），由Jürgen Schmidhuber在几十年前提出，是一种假设的自我改进型人工智能。当它能够数学证明存在更好的策略时，它通过递归重写自身代码来最优地解决问题，这使其成为元学习或“学会学习”中的一个关键概念。
尽管理论上的哥德尔机承诺可证明的良性自我修改，但其实现依赖于一个不切实际的假设：即人工智能在采纳自身代码的拟议更改之前，能够数学证明该更改会带来净改进。我们与不列颠哥伦比亚大学（UBC）Jeff Clune实验室合作，提出了一种更可行的方法：一个利用达尔文进化等开放式算法原理来搜索能够凭经验提高性能的改进的系统。
我们将这种结果称为达尔文哥德尔机（Darwin Gödel Machine）（完整技术报告）。达尔文哥德尔机利用基础模型来提出代码改进，并利用开放式算法的最新创新来搜索不断增长的、多样化的高质量AI代理库。我们的实验表明，达尔文哥德尔机获得的计算资源越多，其自我改进就越显著。鉴于依赖学习的AI系统最终会超越人工设计的AI系统的明显趋势，达尔文哥德尔机有可能很快超越人工设计的AI系统。