CMI-Bench：一个用于评估音乐指令遵循的综合基准

音频-文本大型语言模型（LLM）的最新进展为音乐理解和生成开辟了新的可能性。然而，现有基准的范围有限，通常依赖于简化任务或多项选择评估，未能反映现实世界音乐分析的复杂性。我们将各种传统的MIR标注重新诠释为指令遵循格式，并引入了CMI-Bench，这是一个全面的音乐指令遵循基准，旨在评估音频-文本LLM在多样化的音乐信息检索（MIR）任务上的表现。这些任务包括：流派分类、情感回归、情感标注、乐器分类、音高估计、音调检测、歌词转录、旋律提取、声乐技巧识别、乐器演奏技巧检测、音乐标注、音乐描述和（下行）节拍跟踪，它们反映了MIR研究中的核心挑战。与之前的基准不同，CMI-Bench采用了与以往最先进的MIR模型一致的标准化评估指标，确保了与监督方法的直接可比性。我们提供了一个评估工具包，支持所有开源音频-文本LLM，包括LTU、Qwen-audio、SALMONN、MusiLingo等。实验结果揭示了LLM与监督模型之间显著的性能差距，以及它们的文化、年代和性别偏见，这突出了当前模型在处理MIR任务方面的潜力和局限性。CMI-Bench为评估音乐指令遵循建立了统一的基础，推动了音乐感知型LLM的进展。