阿尔法超越基准测试

本研究提出了一种新的基准，用于评估大型语言模型（LLM），该基准使用来自金融建模世界杯（FMWC）Excel竞赛的挑战。我们介绍了一种方法，用于将113个现有FMWC挑战转换为可编程评估的JSON格式，并使用该数据集比较了几种领先LLM的性能。我们的研究结果表明，在不同挑战类别中，性能存在显著差异，模型在模式识别任务中表现出特定优势，但在复杂的数值推理方面存在困难。该基准提供了一个标准化框架，用于评估LLM在现实业务导向任务中的能力，而非抽象学术问题。这项研究通过将全球每天使用Microsoft Excel的15亿人的熟练程度确立为一种有意义的评估指标，弥合了学术AI基准与实际商业应用之间的差距，从而为不断发展的AI基准测试领域做出了贡献。