⏶13
概率结构集成世界建模
发表
由 
Klemen Kotar 提交
Klemen Kotar 提交作者: Klemen Kotar, Wanhee Lee, Rahul Venkatesh, Honglin Chen, Daniel Bear, Jared Watrous, Simon Kim, Khai Loong Aw, Lilian Naing Chen, Stefan Stojanov, Kevin Feigelis, Imran Thobani, Alex Durango, Khaled Jedoui, Atlas Kazemian, Dan Yamins
Klemen Kotar, Wanhee Lee, Rahul Venkatesh, Honglin Chen, Daniel Bear, Jared Watrous, Simon Kim, Khai Loong Aw, Lilian Naing Chen, Stefan Stojanov, Kevin Feigelis, Imran Thobani, Alex Durango, Khaled Jedoui, Atlas Kazemian, Dan Yamins摘要
AI 生成总结
概率结构集成 (PSI) 通过概率预测、结构提取和集成，从数据中学习高度可控的世界模型，从而增强了视频预测和理解。我们提出了概率结构集成（PSI），一个用于从数据中学习富于控制且能够灵活提示的世界模型的系统。PSI 由一个三步周期组成。第一步，“概率预测”，涉及构建一个数据的概率图模型 Psi，其形式为一个随机访问的自回归序列模型。Psi 支持一组完整的学习条件分布，描述了数据中任何变量对任何其他变量集合的依赖关系。在第二步，“结构提取”中，我们展示了如何通过对 Psi 进行因果推理，以零样本的方式提取数据中潜在的低维属性，这些属性对应于各种有意义的“中间结构”。第三步，“集成”通过将这些结构转换为新的 token 类型来完成周期，这些 token 类型随后作为条件信号和预测目标不断地混合回训练数据中。每一次这样的周期都会增强 Psi 的能力，使其能够更好地建模底层数据，并创建新的控制手柄——类似于类 LLM 的通用提示语言。我们在 1.4 万亿个 token 的互联网视频数据上训练了一个 Psi 实例；我们使用它来进行各种有用的视频预测和理解推理；我们提取了最先进的光流、自监督深度和物体分割；我们使用这些结构来支持一个完整的预测改进周期。
Andrew White
Gradient Descent
我们提出了概率结构集成（PSI）系统，该系统用于从数据中学习丰富可控且灵活可提示的世界模型。PSI 由一个三步循环组成。第一步，概率预测，涉及构建一个数据的概率图模型 Psi，形式为随机访问自回归序列模型。Psi 支持一套完整的学习条件分布，描述数据中任意变量对任意其他变量集合的依赖关系。在第二步，结构提取中，我们展示了如何通过对 Psi 进行因果推理，以零样本方式提取数据中底层的低维属性，这些属性对应于多种有意义的“中间结构”。第三步，集成，通过将这些结构转换为新的 token 类型来完成循环，然后这些新的 token 类型作为条件信号和预测目标不断地重新混合到训练数据中。每个这样的循环都增强了 Psi 的能力，既使其能够更好地模拟底层数据，又创建了新的控制柄——类似于类 LLM 的通用提示语言。我们在 1.4 万亿个 token 的互联网视频数据上训练了一个 Psi 实例；我们使用它来执行各种有用的视频预测和理解推理；我们提取了最先进的光流、自监督深度和物体分割；我们使用这些结构来支持一个完整的预测改进循环。