大型语言模型重排序器的效率-有效性重排序浮点运算

大型语言模型 (LLM) 近期已被应用于信息检索中的重排序任务，并取得了卓越性能。然而，其高计算需求通常阻碍了实际部署。现有研究通过代理指标（例如延迟、前向传播次数、输入令牌数和输出令牌数）来评估基于 LLM 的重排序器的效率。然而，这些指标取决于硬件和运行时选择（例如并行与否、批处理大小等），并且通常未能考虑模型大小，这使得解释变得困难，并模糊了效率-效益权衡的评估。为了解决这个问题，我们提出了 E2R-FLOPs，用于基于 LLM 的重排序器：每 PetaFLOP 排名指标 (RPP) 用于衡量每计算量的相关性，以及每 PetaFLOP 查询量 (QPP) 用于衡量与硬件无关的吞吐量。伴随新指标，我们建立了一个可解释的 FLOPs 估算器，即使无需运行任何实验也能估算基于 LLM 的重排序器的 FLOPs。基于所提出的指标，我们进行了全面的实验，评估了各种不同架构的基于 LLM 的重排序器，研究了效率-效益权衡，并提请研究社区关注此问题。