⏶1
数据与人工智能治理：促进大型语言模型中的公平、伦理和公正
发表
由 
Alok Abhishek 提交
Alok Abhishek 提交作者: Alok Abhishek, Lisa Erickson, Tushar Bandopadhyay
Alok Abhishek, Lisa Erickson, Tushar Bandopadhyay摘要
在本文中，我们探讨了在机器学习模型完整生命周期中系统地治理、评估和量化偏差的方法，从初始开发和验证到持续的生产监控和护栏实施。在我们的针对大型语言模型的偏差评估和衡量测试套件 (BEATS) 的基础工作之上，作者分享了大型语言模型 (LLM) 中普遍存在的与偏差和公平性相关的缺陷，并讨论了旨在解决 LLM 中偏差、伦理、公平性和事实性问题的数据和 AI 治理框架。本文讨论的数据和 AI 治理方法适用于实际的、真实世界的应用，能够对 LLM 在生产部署前进行严格的基准测试，促进持续的实时评估，并主动管理 LLM 生成的响应。通过在 AI 开发生命周期中实施数据和 AI 治理，组织可以显著提高其生成式 AI (GenAI) 系统的安全性和责任性，有效减轻歧视风险，并防止潜在的声誉或品牌相关损害。最终，通过本文，我们旨在为创建和部署符合社会责任和道德规范的生成式人工智能驱动的应用做出贡献。
在本文中，我们将探讨如何在机器学习模型的整个生命周期中，从最初的开发和验证到持续的生产监控和护栏实施，系统地管理、评估和量化偏差。基于我们针对大型语言模型的偏差评估和测试套件（BEATS）的基础工作，作者将分享大型语言模型（LLM）中普遍存在的偏差和公平性相关差距，并讨论一个数据和AI治理框架，以解决LLM中的偏差、道德、公平性和事实性问题。本文讨论的数据和AI治理方法适用于实际的、真实世界的应用，能够在使用前对LLM进行严格的基准测试，促进持续的实时评估，并主动管理LLM生成的响应。通过在AI开发的生命周期中实施数据和AI治理，组织可以显著增强其生成式AI系统的安全性与责任性，有效降低歧视风险，并防止潜在的声誉或品牌相关损害。最终，我们希望通过本文，为推动创建和部署符合社会责任和道德准则的生成式人工智能应用贡献一份力量。