计算资源在出版基础模型研究中的作用

发表
Yue HuangYue Huang 提交
作者: Yuexing HaoYuexing Hao, Yue Huang, Haoran Zhang, Chenyang Zhao, Zhenwen Liang, Paul Pu Liang, Yue Zhao, Lichao Sun, Saleh Kalantari, Xiangliang Zhang, Marzyeh Ghassemi

摘要

AI 生成总结
计算资源的增加与国家资助和基金模型研究的引用相关,但与研究环境、领域或方法论无关。
人工智能(AI)的前沿研究需要大量的资源,包括图形处理器(GPU)、数据和人力资源。在本文中,我们评估了这些资源与基础模型(FM)的科学进展之间的关系。我们回顾了2022年至2024年间发表的6517篇FM论文,并对229位第一作者进行了计算资源对科学产出的影响的调查。我们发现,计算资源的增加与国家资金分配和引用次数相关,但我们的发现并未观察到与研究环境(学术或工业)、领域或研究方法论的强相关性。我们建议个人和机构专注于创造共享且可负担的计算机会,以降低资源不足的研究人员的入门门槛。这些步骤有助于扩大FM研究的参与度,促进思想和贡献者的多样性,并维持AI的创新和进步。数据将可在:https://mit-calc.csail.mit.edu/ 获取。
查看 arXiv 页面查看 PDF

评论

Yue HuangYue Huang
论文提交者

更多的 GPU 意味着“更好”的基础模型(FM)研究??

我们查阅了 6517 篇 FM 论文,并调查了 229 位 FM 作者,以了解计算资源在发表中的作用。令人惊讶的是……

我们发现 GPU 算力与国家资助和引用量密切相关,但与研究成果来自学术界还是工业界无关。

接入 ≠ 创新:共享、经济实惠的计算可能比我们想象的更重要。

网址:https://mit-calc.csail.mit.edu/