多人纳什偏好优化

来自人类反馈的强化学习 (RLHF) 已成为使大型语言模型 (LLM) 与人类偏好对齐的标准范式。然而，基于 Bradley-Terry 假设的基于奖励的方法难以捕捉现实世界偏好的非传递性和异质性。为了解决这个问题，最近的研究将对齐重新定义为一场两人纳什博弈，从而产生了来自人类反馈的纳什学习 (NLHF)。尽管这种视角激发了 INPO、ONPO 和 EGPO 等算法，它们具有强大的理论和经验保证，但它们仍然主要局限于两人互动，从而产生了一种单一对手偏差，未能捕捉现实偏好结构的全部复杂性。在这项工作中，我们引入了多人纳什偏好优化 (MNPO)，这是一个将 NLHF 推广到多人领域的新框架。它将对齐视为一个 n 人博弈，其中每个策略与一群对手竞争，同时又向参考模型进行正则化。我们的框架在多人环境中建立了明确定义的纳什均衡，并将对偶间隙的概念扩展到量化近似质量。我们证明 MNPO 继承了两人方法的均衡保证，同时实现了更丰富的竞争动态和对不同偏好结构的改进覆盖。通过全面的实证评估，我们证明 MNPO 在指令遵循基准上始终优于现有的 NLHF 基线，在异质注释者条件和混合策略评估场景下实现了卓越的对齐质量。总而言之，这些结果确立了 MNPO 作为一种原则性和可扩展的框架，用于使 LLM 与复杂、非传递性的人类偏好对齐。代码可在 https://github.com/smiles724/MNPO 获取。