OnGoal:在多轮对话中跟踪和可视化对话目标(通过大型语言模型)

发表
taesiritaesiri 提交
作者: Adam Coscia, Shunan Guo, Eunyee Koh, Alex Endert

摘要

随着与大型语言模型(LLM)的多轮对话越来越长、越来越复杂,用户如何更好地评估和审查其对话目标的进展?我们提出了OnGoal,一个LLM聊天界面,帮助用户更好地管理目标进展。OnGoal通过LLM辅助评估提供实时的目标对齐反馈,用示例解释评估结果,并提供目标随时间进展的概述,使用户能够更有效地导航复杂的对话。在一项针对20名参与者的写作任务研究中,我们将OnGoal与一个没有目标跟踪的基线聊天界面进行了比较。使用OnGoal,参与者花费更少的时间和精力来实现他们的目标,同时探索新的提示策略来克服沟通不畅,这表明跟踪和可视化目标可以增强LLM对话中的参与度和弹性。我们的研究结果为未来改进目标沟通、降低认知负荷、增强交互性以及实现用于改进LLM性能的反馈的LLM聊天界面提供了设计启示。
查看 arXiv 页面查看 PDF

评论

taesiritaesiri
论文提交者

> 随着与大型语言模型 (LLMs) 的多轮对话越来越长、越来越复杂,用户如何更好地评估和审查其对话目标的进展?我们提出了 OnGoal,一个 LLM 聊天界面,可帮助用户更好地管理目标进展。OnGoal 通过 LLM 辅助评估、具有示例的评估结果解释以及目标随时间进展的概述,提供实时的目标一致性反馈,使用户能够更有效地驾驭复杂的对话。通过一项针对 20 名参与者的写作任务研究,我们将 OnGoal 与一个没有目标跟踪的基线聊天界面进行了评估。使用 OnGoal,参与者花费更少的时间和精力来实现他们的目标,同时探索新的提示策略来克服沟通不畅,这表明跟踪和可视化目标可以增强 LLM 对话的参与度和弹性。我们的发现为未来改进目标沟通、降低认知负荷、增强交互性并实现改进 LLM 性能的反馈的 LLM 聊天界面提供了设计启示。