SciArena：一个用于科学文献任务中基础模型的开放评估平台

我们推出了SciArena，这是一个开放的协作平台，用于评估基础模型在科学文献任务上的表现。与传统的科学文献理解和综合基准不同，SciArena直接让研究社区参与进来，遵循Chatbot Arena的评估方法，即通过社区投票进行模型比较。通过利用集体智慧，SciArena为开放式科学任务提供了社区驱动的模型性能评估，这些任务需要基于文献的长篇回复。该平台目前支持23个开源和专有基础模型，并已从不同科学领域的可靠研究人员那里收集了超过13,000张投票。我们分析了迄今为止收集的数据，确认提交的问题是多样的，符合现实世界的文献需求，并且参与研究人员在评估中表现出很强的一致性和标注者间的一致性。我们根据模型排名排行榜讨论了结果和见解。为了进一步促进构建基于模型的文献任务自动化评估系统的研究，我们发布了SciArena-Eval，这是一个基于我们收集的偏好数据的元评估基准。该基准通过比较模型之间的两两评估与人类投票，来衡量模型判断答案质量的准确性。我们的实验强调了该基准的挑战，并强调了对更可靠的自动化评估方法的需求。