有感知能力的智能体作为评判者：评估大型语言模型中的高阶社会认知能力

评估大型语言模型（LLM）理解人类（而非仅仅文本）的能力，仍然是一个悬而未决的挑战。为了弥合这一差距，我们引入了 Sentient Agent as a Judge (SAGE)，这是一个自动化评估框架，用于衡量 LLM 的高阶社会认知能力。SAGE 实例化了一个 Sentient Agent，它在交互过程中模拟类人的情绪变化和内心想法，为在多轮对话中测试模型提供了更真实的评估。在每一轮中，该 Agent 会推理 (i) 它的情绪如何变化，(ii) 它的感受如何，以及 (iii) 它应该如何回复，从而产生一个数值化的情绪轨迹和可解释的内心想法。在 100 个支持性对话场景上的实验表明，最终的 Sentient 情绪得分与 Barrett-Lennard 关系量表（BLRI）评分和话语层面的同情度指标高度相关，验证了其心理学真实性。我们还建立了一个公共的 Sentient 排行榜，涵盖了 18 个商业和开源模型，揭示了前沿系统（如 GPT-4o-Latest、Gemini2.5-Pro）与早期基线模型之间存在巨大差距（高达 4 倍），这些差距并未体现在传统的排行榜（如 Arena）中。因此，SAGE 提供了一个原则性、可扩展且可解释的工具，用于追踪通往真正具有同情心和社会适应能力的语言代理的进展。