ToMAP：用心理理论训练对手感知型LLM说服者

大型语言模型（LLMs）在说服方面显示出有希望的潜力，但现有关于训练LLM说服者的工作仍处于初步阶段。值得注意的是，尽管人类善于主动且动态地模拟对手的想法和观点，但当前的LLMs难以进行心智理论（ToM）推理，导致多样性和对手感知能力有限。为了解决这一局限，我们引入了心智理论增强型说服者（ToMAP），这是一种构建更灵活说服智能体的新方法，通过整合两个心智理论模块来增强说服者对对手心理状态的感知和分析。具体来说，我们首先提示说服者考虑对目标核心论点可能存在的反对意见，然后使用文本编码器和一个训练好的MLP分类器来预测对手对这些反驳论点当前的立场。我们精心设计的强化学习机制使说服者能够学习如何分析对手相关信息，并利用它生成更有效的论点。实验表明，ToMAP说服者虽然只有30亿参数，但在多种被说服者模型和多样化语料库上，相较于更大的基线模型（如GPT-4o），实现了39.4%的相对提升。值得注意的是，ToMAP在训练过程中展现出复杂的推理链并减少了重复，产生了更多样化和有效的论点。ToMAP的对手感知能力也使其适用于长对话，并使其能够采用更具逻辑性和对手感知的策略。这些结果强调了我们方法的有效性，并突显了其在开发更具说服力语言智能体方面的潜力。代码可在 https://github.com/ulab-uiuc/ToMAP 获取。