⏶73
OLMoTrace：将语言模型输出追溯至万亿训练 tokens
发表
由 
Jiacheng Liu 提交
Jiacheng Liu 提交作者: Jiacheng Liu, 
Taylor Blanton, 
Yanai Elazar, 
Sewon Min, 
YenSung Chen, Arnavi Chheda-Kothary, Huy Tran, 
Byron Bischoff, Eric Marsh, Michael Schmitz, Cassidy Trier, 
Aaron Sarnat, 
Jenna James, Jon Borchardt, 
Bailey Kuehl, Evie Cheng, 
Karen Farley, Sruthi Sreeram, 
Taira Anderson, David Albright, 
Carissa Schoenick, 
Luca Soldaini, 
Dirk Groeneveld, Rock Yuren Pang, 
Pang Wei Koh, Noah A. Smith, 
Sophie Lebrecht, 
Yejin Choi, Hannaneh Hajishirzi, 
Ali Farhadi, 
Jesse Dodge
Jiacheng Liu, Taylor Blanton, Yanai Elazar, Sewon Min, YenSung Chen, Arnavi Chheda-Kothary, Huy Tran, Byron Bischoff, Eric Marsh, Michael Schmitz, Cassidy Trier, Aaron Sarnat, Jenna James, Jon Borchardt, Bailey Kuehl, Evie Cheng, Karen Farley, Sruthi Sreeram, Taira Anderson, David Albright, Carissa Schoenick, Luca Soldaini, Dirk Groeneveld, Rock Yuren Pang, Pang Wei Koh, Noah A. Smith, Sophie Lebrecht, Yejin Choi, Hannaneh Hajishirzi, Ali Farhadi, Jesse Dodge摘要
我们提出了 OLMoTrace，这是第一个将语言模型的输出追溯到其完整的多万亿 token 训练数据的实时系统。OLMoTrace 查找并显示语言模型输出片段与训练文本语料库中文档之间的逐字匹配。我们的系统由 infini-gram 的扩展版本 (Liu et al., 2024) 提供支持，可在几秒钟内返回追踪结果。OLMoTrace 可以帮助用户通过训练数据的视角了解语言模型的行为。我们展示了如何使用它来探索事实核查、幻觉和语言模型的创造力。OLMoTrace 是公开可用的并且完全开源。
我们发布了 OLMoTrace，一个工具，让您可以实时地将语言模型的输出追溯到其完整的、数万亿 token 的训练数据。我们开发 OLMoTrace 是为了提高 LLM 的透明度和信任度。
在标准的聊天机器人体验之上，OLMoTrace 高亮显示了 LLM 输出中逐字出现在模型训练数据中的长片段，并显示匹配的训练文档。使用 OLMoTrace，您可以了解 LLM 可能如何学习生成某些 token 序列。OLMoTrace 对于事实核查 ✅、理解幻觉 🎃、追踪 LLM 生成的“创造性”表达 🧑🎨、追踪推理能力 🧮，或者仅仅是帮助您理解 LLM 为什么说某些话都很有用。
OLMoTrace 现在可用于 Ai2 Playground 上的 OLMo 2 和 OLMoE 模型系列。我们还开源了我们的代码，以便任何人都可以使用其模型的训练数据启用 OLMoTrace。
论文: https://allenai.org/papers/olmotrace
博客: https://allenai.org/blog/olmotrace
在 Ai2 Playground 上试用 OLMoTrace: https://playground.allenai.org