奇妙的（小型）检索器及其训练方法：mxbai-edge-colbert-v0 技术报告

在这项工作中，我们推出了 mxbai-edge-colbert-v0 模型，具有两种不同的参数数量：17M 和 32M。作为我们研究的一部分，我们进行了大量实验来改进检索和后期交互模型，我们打算将它们蒸馏到更小的模型中作为概念验证。我们的最终目标是支持各种规模的检索，从存在于云中的大规模检索到可以在任何设备本地运行的模型。mxbai-edge-colbert-v0 是一个我们希望成为未来所有实验的坚实基础骨干的模型，代表了长系列小型概念验证的第一个版本。作为 mxbai-edge-colbert-v0 开发的一部分，我们进行了多次消融研究，并报告了结果。在下游性能方面，mxbai-edge-colbert-v0 是一个特别强大的小型模型，在常见的短文本基准（BEIR）上优于 ColBERTv2，并在长上下文任务上实现了重大进步，具有前所未有的效率。