AI论文精选
⏶9

评估、合成和增强客户支持对话

发表
由 Jie ZhuJie Zhu 提交
作者: Jie ZhuJie Zhu, Huaixia Dou, Junhui Li, Lifan Guo, Feng Chen, Chi Zhang, Fang Kong

摘要

有效的客户支持不仅需要准确地解决问题，还需要结构化和富有同理心的沟通，并符合专业标准。然而，现有的对话数据集通常缺乏战略指导，并且真实世界中的服务数据难以获取和标注。为了解决这个问题，我们引入了客户支持对话（CSC）任务，旨在训练客户服务代理使用明确定义的支持策略进行回复。我们提出了一个基于COPC指南的结构化CSC框架，定义了五个对话阶段和十二种策略来指导高质量的交互。在此基础上，我们构建了CSConv，一个评估数据集，其中包含1,855个真实世界的客户-代理对话，这些对话经过LLM重写以反映有意的策略使用，并相应地进行了标注。此外，我们开发了一种角色扮演方法，使用LLM驱动的角色模拟富含策略的对话，这些角色与CSC框架对齐，从而产生了训练数据集RoleCS。实验表明，在RoleCS上对强大的LLM进行微调显著提高了它们在CSConv上生成高质量、策略对齐回复的能力。人工评估进一步证实了问题解决方面的提升。所有代码和数据将公开提供在 https://github.com/aliyun/qwen-dianjin。
查看 arXiv 页面查看 PDF

评论

Jie ZhuJie Zhu
论文作者
论文提交者

要点：

  • 高效的客户支持既需要准确解决问题，也需要结构化、共情且专业的沟通。

  • 现有资源的局限性：对话数据集缺乏战略指导；实际服务数据难以获取和标注。

  • 解决方案：引入客户支持对话（CSC）任务，以训练代理使用明确的支持策略，同时推出基于COPC（客户运营绩效中心）指南的结构化CSC框架，该框架包含5个对话阶段和12种策略。

  • 数据集：

    • CSConv：一个评估数据集，包含1,855个真实客户与代理的对话，通过大型语言模型（LLM）重写以反映有意识的策略使用并进行相应标注。
    • RoleCS：一个训练数据集，通过角色扮演生成，其中LLM驱动的角色与CSC框架对齐，模拟富含策略的互动。

  • 结果：在RoleCS上对强大的LLM进行微调显著增强了它们在CSConv上生成高质量、与策略一致的回复的能力；人工评估证实问题解决能力得到改善。

  • 资源：所有代码和数据将公开在 https://github.com/aliyun/qwen-dianjin。