大型语言模型推理引擎综述：优化与效率的视角

大型语言模型 (LLMs) 被广泛应用于聊天机器人、代码生成器和搜索引擎。链式思考、复杂推理和代理服务等工作负载通过重复调用模型显著增加了推理成本。虽然已采用并行化、压缩和缓存等优化方法来降低成本，但多样化的服务需求使得选择合适的方法变得困难。最近，专门的 LLM 推理引擎已成为将优化方法整合到面向服务基础设施中的关键组成部分。然而，目前仍缺乏对推理引擎的系统性研究。本文对 25 个开源和商业推理引擎进行了全面评估。我们从易用性、易部署性、通用支持、可伸缩性以及对吞吐量和延迟敏感的计算的适用性等方面检查了每个推理引擎。此外，我们通过研究其支持的优化技术来探索每个推理引擎的设计目标。此外，我们还评估了开源推理引擎的生态系统成熟度，并处理了商业解决方案的性能和成本策略。我们概述了未来的研究方向，包括支持复杂的基于 LLM 的服务、支持多种硬件以及增强安全性，为研究人员和开发人员选择和设计优化的 LLM 推理引擎提供了实用指导。我们还提供了一个公共仓库，以便持续跟踪这个快速发展领域的进展：https://github.com/sihyeong/Awesome-LLM-Inference-Engine

• 分析了25个开源和商业LLM推理引擎

• 在易用性、可扩展性、部署和优化支持方面对它们进行了比较

• 探讨了量化、批处理、缓存、推测解码等支持的技术

• 根据延迟与吞吐量的需求，提供了选择合适引擎的实用指南

• 讨论了多模态支持、硬件多样性和安全性等未来挑战

• 维护了一个公共GitHub仓库，跟踪这一快速发展领域的更新：