AI论文精选
⏶11

人工智能治理研究中的现实世界差距

发表
由 Ilan StraussIlan Strauss 提交
作者: Ilan StraussIlan Strauss, Isobel MoureIsobel Moure, Tim O'Reilly, Sruly RosenblatSruly Rosenblat

摘要

基于从 9,439 篇生成式 AI 论文（2020 年 1 月 - 2025 年 3 月）中筛选出的 1,178 篇关于安全性和可靠性的论文，我们比较了领先的 AI 公司（Anthropic、Google DeepMind、Meta、Microsoft 和 OpenAI）和 AI 大学（卡耐基梅隆大学、麻省理工学院、纽约大学、斯坦福大学、加州大学伯克利分校和华盛顿大学）的研究产出。我们发现，企业 AI 研究越来越集中在部署前领域——模型对齐和测试与评估——而对模型偏见等部署阶段问题的关注有所减弱。在高风险部署领域存在显著的研究空白，包括医疗保健、金融、虚假信息、说服性和成瘾性特征、幻觉和版权。如果没有对已部署 AI 的可观察性得到改善，企业集中度的提高可能会加剧知识赤字。我们建议扩大外部研究人员对部署数据的访问，并对市场中的 AI 行为进行系统性观察。
查看 arXiv 页面查看 PDF

评论

Ilan StraussIlan Strauss
论文作者
论文提交者

AI治理研究的现实差距：AI在日常部署中的安全性和可靠性

作者：Ilan Strauss, Isobel Moure, Tim O’Reilly 和 Sruly Rosenblat

AI披露项目（社会科学研究理事会）

我们对2020年1月至2025年3月的9,439篇生成式AI论文中的1,178篇关于安全性和可靠性的论文进行了分析，比较了领先AI公司（Anthropic, Google DeepMind, Meta, Microsoft, and OpenAI）和AI大学（CMU, MIT, NYU, Stanford, UC Berkeley, and University of Washington）的研究产出。我们发现，企业AI研究日益集中在部署前领域——模型对齐和测试与评估——而对部署阶段问题（如模型偏差）的关注却在减弱。在高风险部署领域存在显著的研究空白，包括医疗健康、金融、虚假信息、说服性和成瘾性特征、幻觉以及版权。如果无法改进对已部署AI的可观察性，企业集中度的提高可能会加剧知识的不足。我们建议扩大外部研究人员对部署数据的访问，并系统地观察市场中AI的行为。