AI论文精选
⏶47

DoTA-RAG：思想聚合RAG的动态化

发表
由 Saksorn RuangtanusakSaksorn Ruangtanusak 提交
作者: Saksorn RuangtanusakSaksorn Ruangtanusak, Natthapath Rungseesiripak, PeerawatPeerawat Rojratchadakorn, Monthol CharattrakoolMonthol Charattrakool, Natapong Nitarach (Schwyter)Natapong Nitarach

摘要

在本文中，我们介绍了DoTA-RAG（动态思维聚合RAG），一个为高吞吐量、大规模网络知识索引优化的检索增强生成系统。传统的RAG管道在处理海量、多样化数据集时常面临高延迟和有限的准确性问题。DoTA-RAG通过一个三阶段管道解决了这些挑战：查询重写、动态路由到专业子索引，以及多阶段检索和排名。我们通过评估和选择一个更优的嵌入模型，重新嵌入大型FineWeb-10BT语料库，进一步增强了检索能力。此外，我们通过DataMorgana设置，在广泛的WebOrganizer主题和格式下，生成了一个包含500个问题的多样化问答数据集。DoTA-RAG将答案正确性得分从0.752（基线，使用LiveRAG预构建向量存储）提高到1.478，同时保持低延迟，并在Live挑战日达到了0.929的正确性得分。这些结果突显了DoTA-RAG在需要快速、可靠访问大型且不断演变的知识源的领域中实际部署的潜力。
查看 arXiv 页面查看 PDF
DoTA-RAG：思想聚合RAG的动态化
DoTA-RAG：思想聚合RAG的动态化

评论

Saksorn RuangtanusakSaksorn Ruangtanusak
论文作者
论文提交者

本文介绍了 DoTA-RAG（思想动态聚合 RAG），一个为高吞吐量、大规模网络知识索引优化的检索增强生成系统。传统的 RAG 流水线在处理海量、多样化数据集时常面临高延迟和有限准确性的问题。DoTA-RAG 通过一个三阶段流水线解决了这些挑战：查询重写、动态路由到专门的子索引，以及多阶段检索和排名。我们通过评估和选择一个更优秀的嵌入模型，并重新嵌入大型 FineWeb-10BT 语料库来进一步增强检索。此外，我们通过 DataMorgana 设置，在广泛的 WebOrganizer 主题和格式中生成了包含 500 个问题的多样化问答数据集。DoTA-RAG 将答案正确性分数从 0.752（基线，使用 LiveRAG 预构建向量存储）提高到 1.478，同时保持低延迟，并在 Live Challenge Day 上获得了 0.929 的正确性分数。这些结果突显了 DoTA-RAG 在需要快速、可靠访问大型和不断演变知识源的领域中实际部署的潜力。