复合AI系统优化：方法、挑战与未来方向综述

大型语言模型（LLMs）和AI系统的最新进展，为复杂AI工作流的设计和优化带来了范式转变。通过整合多个组件，复合AI系统在执行复杂任务方面变得越来越得心应手。然而，随着这些系统复杂性的增长，新的挑战不仅出现在优化单个组件上，也出现在优化它们之间的交互上。尽管监督微调（SFT）和强化学习（RL）等传统优化方法仍然是基础，但自然语言反馈的兴起带来了有前景的新方法，特别是对于优化不可微分系统。本文系统回顾了复合AI系统优化方面的最新进展，涵盖了数值和基于语言的技术。我们对复合AI系统优化的概念进行了形式化，根据几个关键维度对现有方法进行了分类，并强调了这一快速发展领域中的开放研究挑战和未来方向。所调研论文的列表可公开查阅：https://github.com/MiuLab/AISysOpt-Survey。