⏶4
CoIn: 在商用黑盒 LLM API 中计数不可见推理 token
发表
由 
Ang Li 提交
Ang Li 提交作者: Guoheng Sun, Ziyao Wang, Bowei Tian, Meng Liu, Zheyu Shen, Shwai He, Yexiao He, Wanghao Ye, Yiting Wang, Ang Li
Ang Li摘要
随着后训练技术的演进，大语言模型 (LLMs) 越来越增强了结构化的多步推理能力，这通常通过强化学习得到优化。这些推理增强模型在复杂任务上表现优于标准LLMs，并且现在支撑着许多商业LLM API。然而，为了保护其专有性并降低冗长性，提供商通常隐藏推理痕迹，同时只返回最终答案。这种不透明性引入了一个关键的透明度差距：用户为不可见的推理 token 付费，这些 token 通常占总成本的大部分，然而却没有办法验证其真实性。这为 token 数量虚报打开了大门，提供商可能虚报 token 用量，或注入合成的、低价值 token 以抬高收费。为了解决这个问题，我们提出了 CoIn，这是一个能够审计隐藏 token 的数量和语义有效性的验证框架。CoIn 基于 token 嵌入指纹构建了一个可验证的哈希树，以检查 token 数量，并使用基于嵌入的相关性匹配来检测虚假推理内容。实验表明，当 CoIn 作为可信的第三方审计员部署时，可以有效检测 token 数量虚报，成功率高达 94.7%，显示出在不透明LLM服务中恢复计费透明度的强大能力。数据集和代码已公开在 https://github.com/CASE-Lab-UMD/LLM-Auditing-CoIn。
随着后训练技术的发展，大型语言模型（LLMs）越来越多地被赋予结构化、多步骤的推理能力，这些能力通常通过强化学习进行优化。这些增强了推理能力的模型在复杂任务上表现优于标准LLMs，并且现在支撑着许多商业LLM API。然而，为了保护专有行为并减少冗余，提供商通常会隐藏推理过程，只返回最终答案。这种不透明性带来了严重的透明度差距：用户为看不见的推理tokens付费，这些tokens通常占成本的大部分，但他们却无法验证其真实性。这为token数量虚增打开了大门，提供商可能会多报token使用量，或注入合成的、低成本的tokens来虚抬费用。为了解决这个问题，我们提出了CoIn，一个用于审计隐藏tokens数量和语义有效性的验证框架。CoIn从token embedding指纹构建一个可验证的哈希树来检查token数量，并使用基于embedding的相关性匹配来检测捏造的推理内容。实验表明，CoIn在作为可信第三方审计员部署时，能够有效检测token数量虚增，成功率高达94.7%，显示出其在不透明的LLM服务中恢复计费透明度的强大能力。