⏶12
即使是小型推理器也应引用来源：介绍Pleias-RAG模型家族
发表
由 
Pierre-Carl Langlais 提交
Pierre-Carl Langlais 提交作者: Pierre-Carl Langlais, 
Pavel Chizhov, Mattia Nee, 
Carlos Rosas Hinostroza, 
Matthieu Delsart, 
Irène Girard, Othman Hicheur, 
Anastasia Stasenko, 
Ivan P. Yamshchikov
Pierre-Carl Langlais, Pavel Chizhov, Mattia Nee, Carlos Rosas Hinostroza, Matthieu Delsart, Irène Girard, Othman Hicheur, Anastasia Stasenko, Ivan P. Yamshchikov摘要
我们引入了新一代用于RAG、搜索和源摘要的小型推理模型。Pleias-RAG-350m 和 Pleias-RAG-1B 是在中途训练的大规模合成数据集上进行的，该数据集模拟了从 Common Corpus 中检索各种多语言开放源的过程。它们原生支持使用文字引用进行引文和接地，并重新整合了与 RAG 工作流程相关的多种功能，例如查询路由、查询重构和源重排序。Pleias-RAG-350m 和 Pleias-RAG-1B 在标准化 RAG 基准测试（HotPotQA、2wiki）上表现优于参数小于 40 亿的 SLMs，并与流行的较大模型（包括 Qwen-2.5-7B、Llama-3.1-8B 和 Gemma-3-4B）具有竞争力。它们是迄今为止唯一在主要欧洲语言中保持一致 RAG 性能并确保系统性引用接地的 SLMs。由于其尺寸较小，易于在受限基础设施上部署，并且设计上具有更高的事实性，这些模型为生成式 AI 开启了一系列新的用例。
详细的模型论文，描述了 Pleias-350M (https://huggingface.co/PleIAs/Pleias-RAG-350M) 和 Pleias-1B (https://huggingface.co/PleIAs/Pleias-RAG-1B) 的中期训练方法。
目前在其尺寸范围内用于 RAG 的 SOTA 模型。