MachineLearningLM：在数百万个合成表格预测任务上继续预训练语言模型，实现上下文学习的规模化

大型语言模型（LLM）拥有广泛的世界知识和强大的通用推理能力，但它们在标准机器学习（ML）任务上难以从大量的上下文示例中学习，即，纯粹通过上下文学习（ICL）而非梯度下降来利用多示例演示。我们引入了 MachineLearningLM，这是一个可移植的继续预训练框架，它能够使通用 LLM 具备强大的上下文 ML 能力，同时保留其用于更广泛聊天工作流程的通用知识和推理能力。 我们的预训练过程从数百万个结构因果模型（SCM）中合成 ML 任务，涵盖高达 1,024 个示例数。我们从一个随机森林教师开始，将基于树的决策策略提炼到 LLM 中，以增强数值建模的鲁棒性。所有任务都使用一种令牌效率高的提示进行序列化，从而在上下文窗口中实现了 3 到 6 倍更多的示例，并通过批处理推理实现了高达 50 倍的摊销吞吐量。 尽管设置适中（Qwen-2.5-7B-Instruct，LoRA 秩 8），MachineLearningLM 在跨金融、物理、生物和医疗保健领域的分布外表格分类任务上，平均比强大的 LLM 基线（例如 GPT-5-mini）高出约 15%。它展现了一个惊人的多示例缩放定律：随着上下文演示从 8 个增加到 1,024 个，准确率单调增加。在没有任何特定任务训练的情况下，它在数百个示例中达到了随机森林级别的准确率。通用的聊天能力，包括知识和推理，得到了保留：它在 MMLU 上取得了 75.4% 的成绩。