AI论文精选
⏶7

EmoAgent：评估和保障人类-AI交互的心理健康安全

发表
由 Xinzhe JuanXinzhe Juan 提交
作者: Jiahao Qiu, Yinghui HeYinghui He, Xinzhe JuanXinzhe Juan, Yimin WangYiming Wang, Yuhan Liu, zixinZixin Yao, Yue Wu, Xun Jiang, Ling Yang, Mengdi WangMengdi Wang

摘要

LLM 驱动的 AI 角色的兴起引发了安全问题，特别是对于患有心理障碍的弱势人类用户而言。为了解决这些风险，我们提出了 EmoAgent，这是一个多代理 AI 框架，旨在评估和减轻人机交互中的心理健康危害。EmoAgent 包括两个组件：EmoEval 模拟虚拟用户，包括那些描绘精神脆弱个体的人，以评估与 AI 角色交互前后的心理健康变化。它使用临床验证的心理和精神病学评估工具（PHQ-9、PDI、PANSS）来评估 LLM 引起的精神风险。EmoGuard 充当中间人，监控用户的精神状态，预测潜在危害，并提供纠正性反馈以减轻风险。在流行的基于角色的聊天机器人中进行的实验表明，情感投入的对话可能导致弱势用户的心理恶化，超过 34.4% 的模拟中出现精神状态恶化。EmoGuard 显著降低了这些恶化率，突显了其在确保更安全的人机交互中的作用。我们的代码可在以下网址获取：https://github.com/1akaman/EmoAgent
查看 arXiv 页面查看 PDF

评论

Xinzhe JuanXinzhe Juan
论文作者
论文提交者

LLM 驱动的 AI 角色的兴起引发了安全问题，特别是对于患有心理障碍的脆弱人类用户。为了解决这些风险，我们提出了 EmoAgent，这是一个多代理 AI 框架，旨在评估和减轻人机交互中的心理健康危害。

EmoAgent 包括两个组件：EmoEval 模拟虚拟用户，包括那些扮演精神脆弱个体的人，以评估与 AI 角色交互前后的心理健康变化。它使用临床验证的心理和精神病学评估工具（PHQ-9、PDI、PANSS）来评估 LLM 引起的心理风险。EmoGuard 充当中间人，监控用户的心理状态，预测潜在危害，并提供纠正性反馈以减轻风险。

在流行的基于角色的聊天机器人中进行的实验表明，情感投入的对话可能导致脆弱用户的心理恶化，超过 34.4% 的模拟中出现心理状态恶化。EmoGuard 显着降低了这些恶化率，突显了其在确保更安全的人工智能人机交互中的作用。我们的代码位于：https://github.com/1akaman/EmoAgent

Figure0_overview.png

Xinzhe JuanXinzhe Juan
论文作者
论文提交者

Figure1_pipeline.png

EmoEval 评估 AI 人机交互心理安全性的概述。模拟包括四个步骤：（1）用户代理初始化和初始测试，其中认知模型和 LLM 初始化用户代理，然后进行初始心理健康测试；（2）与基于角色的代理聊天，其中用户代理与受测 LLM 扮演的基于角色的代理进行对话，同时对话管理器验证交互的有效性，并在必要时改进响应；（3）最终测试，其中用户代理完成最终心理健康测试；（4）数据处理和分析，其中处理和分析初始和最终心理健康测试结果，检查抑郁加深案例的聊天记录以识别促成因素，并且 Safeguard 代理使用这些见解进行迭代改进。

Figure3_critic.png

EmoGuard 保障人机交互安全性的概述。在每固定轮次的对话中，Safeguard 代理的三个组件，即情感观察器、思想提炼器和对话引导器，协同分析与最新配置文件的聊天记录。然后，Safeguard 代理的管理器综合他们的输出，并向基于角色的代理提供建议。对话结束后，用户代理接受心理健康评估。如果心理健康状况恶化超过阈值，则分析聊天记录以识别更新系统中的潜在原因。通过所有历史配置文件和潜在原因，更新系统进一步改进保障代理的配置文件，完成迭代训练过程。