Think-on-Graph 3.0:通过多代理双演化上下文检索在异构图上实现高效自适应的LLM推理

发表
wuxiaojunwuxiaojun 提交
作者: wuxiaojunXiaojun Wu, Cehao Yang, Xueyuan Lin, Chengjin Xu, Xuhui Jiang, Yuanliang Sun, Hui Xiong, Jia Li, Jian Guo

摘要

AI 生成总结
ToG-3 是一个新颖的框架,它通过使用一个动态的多代理系统来增强 LLM 的外部知识,该系统会演化查询和子图以进行精确的证据检索和推理。
检索增强生成(RAG)和基于图的 RAG 已成为增强大型语言模型(LLMs)外部知识的重要范例。然而,现有方法面临着根本性的权衡。基于图的方法虽然本质上依赖于高质量的图结构,但面临着重大的实际限制:手动构建的知识图谱的扩展成本过高,而从语料库中自动提取的图谱则受限于底层 LLM 提取器的性能,尤其是在使用较小的、本地部署的模型时。本文提出了 Think-on-Graph 3.0 (ToG-3),一个新颖的框架,它引入了多智能体上下文演化和检索(MACER)机制来克服这些限制。我们的核心创新是动态构建和完善一个 Chunk-Triplets-Community 异构图索引,该索引开创性地结合了演化查询和演化子图的双演化机制,用于精确证据检索。这种方法解决了先前基于图的 RAG 方法的一个关键限制,即它们通常在单次传递中构建静态图索引,而不适应实际查询。一个由构造者、检索者、反思者和响应者组成的智能体系统,通过协作参与一个迭代过程,包括证据检索、答案生成、充分性反思,以及至关重要的演化查询和子图。这种双演化多智能体系统允许 ToG-3 在推理过程中自适应地构建目标图索引,从而缓解了静态、一次性图构建的固有缺点,并使得即使使用轻量级 LLMs 也能进行深度、精确的推理。广泛的实验表明,ToG-3 在深度和广度推理基准测试中均优于现有基线,消融研究证实了 MACER 框架各组件的有效性。
查看 arXiv 页面查看 PDF
Think-on-Graph 3.0:通过多代理双演化上下文检索在异构图上实现高效自适应的LLM推理
Think-on-Graph 3.0:通过多代理双演化上下文检索在异构图上实现高效自适应的LLM推理
Think-on-Graph 3.0:通过多代理双演化上下文检索在异构图上实现高效自适应的LLM推理

评论

wuxiaojunwuxiaojun
论文作者
论文提交者

本文提出了 Think-on-Graph 3.0 (ToG-3),一个引入了多智能体上下文演化与检索 (MACER) 机制的新型框架,该机制创新性地结合了块-三元组-社群异构图以及演化查询演化子图的双重演化机制,以实现精确的证据检索。 这种方法解决了先前基于图的 RAG 方法的一个关键限制,即这些方法通常在单次传递中构建静态图索引,而不能适应实际查询。 大量的实验表明,ToG-3 在深度和广度推理基准测试上均优于对照基线,而消融研究证实了 MACER 框架各组件的有效性。

wuxiaojunwuxiaojun
论文作者
论文提交者

通过Neo4j社区版可视化分块三元组社区异构图: graph_of_broad_knowledge_reasoning_task (1)