⏶6
何时行动，何时等待：在任务型对话中对意图可触发性的结构轨迹进行建模
发表
由 
Yaoyao Qian 提交
Yaoyao Qian 提交作者: Yaoyao Qian, Jindan Huang, Yuanli Wang, 
Simon Yu, Kyrie Zhixuan Zhou, Jiayuan Mao, Mingfu Liang, Hanhan Zhou
Yaoyao Qian, Jindan Huang, Yuanli Wang, Simon Yu, Kyrie Zhixuan Zhou, Jiayuan Mao, Mingfu Liang, Hanhan Zhou摘要
面向任务的对话系统经常面临这样的困难：用户的言语在语义上看起来完整，但却缺乏进行适当系统操作所需的结构信息。出现这种情况的原因是用户通常不完全理解自己的需求，而系统则需要精确的意图定义。当前基于LLM的智能体无法有效区分语言上完整但上下文可触发的表达，缺乏协同意图形成的框架。我们提出了STORM，一个通过用户LLM（完全内部访问）和代理LLM（仅可观察行为）之间的对话来建模非对称信息动态的框架。STORM 生成了捕获表达轨迹和潜在认知转换的标注语料库，从而能够系统地分析协同理解的发展。我们的贡献包括：(1) 将对话系统中的非对称信息处理形式化；(2) 建模意图形成以追踪协同理解的演变；以及 (3) 衡量内部认知改进与任务性能的评估指标。对四种语言模型的实验表明，在某些场景下，中等不确定性（40-60%）可能优于完全透明，且模型特有的模式表明需要重新考虑人机协作中的最佳信息完整性。这些发现有助于理解非对称推理动态，并为不确定性校准的对话系统设计提供信息。
面向任务的对话系统常常面临困难，即用户话语在语义上看似完整，但缺乏适当系统操作所需的结构信息。这出现的原因是用户常常不完全理解自己的需求，而系统需要精确的意图定义。当前基于LLM的智能体无法有效区分语言上完整但上下文可触发的表达，缺乏协作意图形成的框架。我们提出了STORM，一个通过UserLLM（完全内部访问）和AgentLLM（仅可观察行为）之间的对话来建模非对称信息动态的框架。STORM生成带注释的语料库，捕捉表达轨迹和潜在认知转换，从而能够系统地分析协作理解的发展。我们的贡献包括：(1) 将对话系统中的非对称信息处理形式化；(2) 建模意图形成以追踪协作理解的演变；(3) 评估指标，衡量内部认知改进以及任务性能。跨四种语言模型的实验表明，在某些情况下，适度的不确定性（40-60%）可能优于完全透明，模型特定的模式表明需要重新考虑人机协作中最佳信息完整性。这些发现有助于理解非对称推理动态，并为不确定性校准的对话系统设计提供信息。