AI论文精选
⏶2

编排器-智能体信任：一个具有信任感知编排和基于RAG推理的模块化智能体AI视觉分类系统

发表
由 Ranjan SapkotaRanjan Sapkota 提交
作者: Dr. Konstantinos I. RoumeliotisKonstantinos I. Roumeliotis, Ranjan SapkotaRanjan Sapkota, Manoj Karkee, Nikolaos D. Tselikas

摘要

现代人工智能（AI）日益依赖于融合视觉与语言理解的多智能体架构。然而，一个紧迫的挑战依然存在：我们如何能信任这些智能体，尤其是在无需微调的零样本（zero-shot）设置中？我们引入了一种新颖的模块化智能体AI视觉分类框架，该框架集成了通用多模态智能体、一个非视觉推理协调器以及一个检索增强生成（RAG）模块。在应用于苹果叶病害诊断时，我们对三种配置进行了基准测试：(I) 采用基于置信度协调的零样本配置；(II) 性能经优化的微调智能体配置；以及 (III) 通过基于CLIP的图像检索和重评估循环来增强的信任校准协调配置。协调器利用置信度校准指标（ECE, OCR, CCC）来调节各智能体间的信任度。我们的结果表明，在零样本设置中使用信任感知协调和RAG，准确率提升了77.94%，总体达到85.63%。GPT-4o 表现出更好的校准能力，而 Qwen-2.5-VL 则显示出过度自信。此外，图像RAG通过视觉上相似的案例为预测提供了依据，从而能通过迭代重评估纠正智能体的过度自信。该系统将感知（视觉智能体）与元推理（协调器）分离，实现了可扩展且可解释的多智能体AI。这一蓝图可扩展至诊断学、生物学及其他信任至关重要的领域。所有模型、提示、结果和系统组件，包括完整的软件源代码，均已在 Github 公开发布，以支持可复现性、透明度和社区基准测试：https://github.com/Applied-AI-Research-Lab/Orchestrator-Agent-Trust
查看 arXiv 页面查看 PDF
编排器-智能体信任：一个具有信任感知编排和基于RAG推理的模块化智能体AI视觉分类系统
编排器-智能体信任：一个具有信任感知编排和基于RAG推理的模块化智能体AI视觉分类系统

评论

Ranjan SapkotaRanjan Sapkota
论文作者
论文提交者

现代人工智能（AI）越来越依赖于融合视觉和语言理解的多智能体架构。然而，一个紧迫的挑战依然存在：我们如何信任这些智能体，尤其是在没有微调的零样本设置中？在这项工作中，我们引入了一种新颖的模块化智能体AI视觉分类框架，它将通用多模态智能体与非视觉推理协调器以及检索增强生成（RAG）模块相结合。在苹果叶病诊断中的应用方面，我们对三种配置进行了基准测试：(I) 基于置信度的零样本协调，(II) 经过微调且性能提升的智能体，以及 (III) 通过基于CLIP的图像检索和重新评估循环增强的信任校准协调。使用置信度校准指标（ECE、OCR、CCC），协调器调整智能体之间的信任度。我们的结果表明，在零样本设置中，使用信任感知协调和RAG，准确率提高了77.94%，总体达到85.63%。GPT-4o表现出更好的校准性，而Qwen-2.5-VL则显示出过度自信。此外，图像RAG通过视觉相似案例对预测进行接地，通过迭代重新评估来纠正智能体的过度自信。所提出的系统将感知（视觉智能体）与元推理（协调器）分离，从而实现了可扩展和可解释的多智能体AI。这一蓝图可扩展到诊断、生物学和其他信任关键领域。所有模型、提示、结果和系统组件（包括完整的软件源代码）均已公开发布，以支持复现性、透明度以及在Github上的社区基准测试：https://github.com/Applied-AI-Research-Lab/Orchestrator-Agent-Trust

索引词：智能体AI、智能体RAG、信任感知智能体AI、智能体视觉分类器、检索增强生成、自主智能体、面向目标的智能体AI、自适应AI、持久性、工具熟练、持续学习