LLAMAPIE: 主动式入耳对话助手

发表
Tuochao ChenTuochao Chen 提交
作者: Tuochao ChenTuochao Chen, Nicholas BatchelderNicholas Batchelder, Alisa Liu, Noah Smith, Shyamnath Gollakota

摘要

我们介绍 LlamaPIE,这是首个实时主动式助手,旨在通过可听设备传递的隐蔽、简洁指导来增强人类对话。与需要用户明确调用的传统语言模型不同,该助手在后台运行,预测用户需求,而不中断对话。我们解决了几个挑战,包括确定何时响应、制定增强对话的简洁响应、利用用户知识提供上下文感知帮助以及实时、设备端处理。为了实现这一目标,我们构建了一个半合成对话数据集,并提出了一个双模型管道:一个决定何时响应的小模型和一个生成响应的大模型。我们在真实世界数据集上评估了我们的方法,证明了其在提供有用、不显眼的帮助方面的有效性。在 Apple Silicon M2 硬件上实现的、使用我们助手的用户研究显示,与无协助的基线模型和反应式模型相比,用户对主动式助手表现出强烈的偏好,突显了 LlamaPIE 在增强实时对话方面的潜力。
查看 arXiv 页面查看 PDF

评论

Tuochao ChenTuochao Chen
论文作者
论文提交者

我们推出 LlamaPIE,这是首个实时主动式助手,旨在通过听戴式设备提供不引人注意的简洁指导,从而增强人类对话。与需要用户明确调用的传统语言模型不同,该助手在后台运行,预测用户需求,且不中断对话。我们解决了几个挑战,包括确定何时响应、制定简洁且能增强对话的响应、利用用户知识进行上下文感知的协助,以及实时、设备端处理。代码可在 https://github.com/chentuochao/LlamaPIE 获取。