AudioTrust：评估音频大型语言模型的多方面可信度

音频大型语言模型 (ALLM) 的快速发展和应用扩展，要求我们对其可信度有深入的理解。然而，针对这些模型的系统性评估研究，特别是涉及音频模态特有风险的研究，在很大程度上仍未被探索。现有的评估框架主要关注文本模态，或仅涉及有限的安全维度，未能充分考虑音频模态固有的独特特性和应用场景。为此，我们引入了 AudioTrust——首个专门为 ALLM 设计的多维度可信度评估框架与基准。AudioTrust 支持在六个关键维度上的评估：公平性、幻觉、安全性、隐私性、鲁棒性和真实性。为了全面评估这些维度，AudioTrust 围绕 18 个不同的实验设置进行构建。其核心是一个精心构建的、包含超过 4,420 个音频/文本样本的数据集，这些样本来源于真实世界场景（如日常对话、紧急呼叫、语音助手交互），专门设计用于探究 ALLM 的多维度可信度。在评估方面，该基准精心设计了 9 个音频特有的评估指标，并且我们采用大规模自动化流程对模型输出进行客观且可扩展的评分。实验结果揭示了当前最先进的开源和闭源 ALLM 在面临各种高风险音频场景时的可信度边界和局限性，为未来音频模型的安全可靠部署提供了宝贵见解。我们的平台和基准可在 https://github.com/JusperLee/AudioTrust 获取。