基础模型发现了什么？利用归纳偏置探索世界模型

基础模型的核心理念是，序列预测能够揭示更深层次的领域理解，这与开普勒对行星运动的预测最终促成牛顿力学发现的过程异曲同工。然而，评估这些模型是否真正捕捉到了更深层次的结构仍然是一个挑战。我们开发了一种评估基础模型的技术，该技术考察了它们如何适应根据某种假定世界模型生成的合成数据集。我们的技术衡量基础模型的归纳偏置是否与世界模型保持一致，因此我们将其称为“归纳偏置探针”。在多个领域中，我们发现基础模型在其训练任务上可以表现出色，但在适应新任务时，却未能形成对底层世界模型的归纳偏置。我们尤其发现，基于轨道轨迹训练的基础模型在适应新的物理任务时，始终未能成功应用牛顿力学。进一步分析揭示，这些模型的行为表现得像是它们发展出了无法泛化的任务特定启发式方法。