⏶3
AyurParam：一个用于阿育吠陀的先进双语语言模型
发表
由 
Vijay Devane 提交
Vijay Devane 提交作者: 
Mohd Nauman, Sravan Gvm, Vijay Devane, Shyam Pawar, Viraj Thakur, Kundeshwar Pundalik, Piyush Sawarkar, Rohit Saluja, Maunendra Desarkar, Ganesh Ramakrishnan
Mohd Nauman, Sravan Gvm, Vijay Devane, Shyam Pawar, Viraj Thakur, Kundeshwar Pundalik, Piyush Sawarkar, Rohit Saluja, Maunendra Desarkar, Ganesh Ramakrishnan摘要
AI 生成总结
AyurParam-2.9B 是一个为阿育吠陀（Ayurveda）领域微调的专业双语语言模型，其在同等规模的模型中表现突出，并在专业医学知识任务上展现了有竞争力的性能。当前的大型语言模型擅长处理广泛的通用任务，但在面对需要深厚文化、语言和学科专业知识的高度专业化领域时，表现始终不佳。特别是，像阿育吠陀（Ayurveda）这样的传统医学体系，包含了几个世纪以来细致入微的文本和临床知识，主流大语言模型无法准确地解释或应用。我们推出了 AyurParam-2.9B，这是一个领域专业化的双语语言模型，它是在 Param-1-2.9B 的基础上，使用一个由专家精心策划、涵盖古典文献和临床指南的广泛阿育吠陀数据集进行微调的。AyurParam 的数据集包含了英语和印地语两种语言的上下文感知、推理和客观题风格的问答，并采用了严格的标注协议以确保事实的精确性和指令的清晰度。在 BhashaBench-Ayur 基准上进行评测，AyurParam 不仅超越了其同等规模（15亿至30亿参数）的所有开源指令微调模型，而且与规模大得多的模型相比，也展现出具有竞争力或更优的性能。AyurParam 的结果凸显了在为专业医学知识提供可靠、符合文化背景的人工智能时，进行真实的领域适应和高质量监督的必要性。
当前的大型语言模型在广泛的通用任务中表现出色，但当接触到需要深厚文化、语言和主题专业知识的高度专业化领域时，它们始终表现不佳。特别是，阿育吠陀等传统医疗系统蕴含着数百年微妙的文本和临床知识，而主流大型语言模型未能准确解读或应用。我们引入了 AyurParam-2.9B，一个领域专业化、双语语言模型，通过使用一个广泛、专家精选的阿育吠陀数据集（涵盖经典文本和临床指导）从 Param-1-2.9B 进行微调。AyurParam 的数据集融合了英语和印地语中情境感知、推理和客观式问答，并采用严格的标注协议以确保事实精确性和指导清晰度。在 BhashaBench-Ayur 上进行基准测试，AyurParam 不仅超越了其规模类别（1.5-3B 参数）中的所有开源指令微调模型，而且与更大规模的模型相比也展现出有竞争力或更优越的性能。AyurParam 的结果凸显了在为专业医疗知识提供可靠、文化兼容的 AI 方面，真实的领域适应和高质量监督的必要性。