3D Arena：一个用于生成式3D评估的开放平台

评估生成式3D模型仍然具有挑战性，因为自动化度量与人类对质量的感知之间存在不一致。当前的基准测试依赖于忽略3D结构的图像度量，或无法捕捉感知吸引力和实际用途的几何度量。为了弥补这一差距，我们推出了3D Arena，一个开放平台，通过大规模收集人类偏好（使用成对比较）来评估图像到3D生成模型。 自2024年6月上线以来，该平台已从8,096名用户那里收集了123,243票，涵盖19个最先进的模型，建立了生成式3D领域最大规模的人类偏好评估。我们贡献了包含100个评估提示的iso3d数据集，并通过统计欺诈检测实现了99.75%的用户真实性，展示了质量控制能力。我们基于ELO的排名系统提供了可靠的模型评估，该平台已成为公认的评估资源。 通过分析这些偏好数据，我们揭示了人类偏好模式的洞察。我们的发现揭示了对视觉呈现特征的偏好，其中高斯溅射输出比网格具有16.6的ELO优势，而有纹理模型比无纹理模型具有144.1的ELO优势。我们为改进评估方法提供了建议，包括多标准评估、面向任务的评估和格式感知比较。该平台的社区参与将3D Arena确立为该领域的基准，同时促进了对生成式3D中以人为中心的评估的理解。