⏶9
AI-University：一个基于LLM的平台，用于教学与科学课堂的对齐
发表
由 
Simone Cimolato 提交
Simone Cimolato 提交作者: 
Mostafa Faghih Shojaei, 
Rahul Gulati, Benjamin A. Jasperson, 
Shangshang Wang, Simone Cimolato, 
Dangli Cao, 
Willie Neiswanger, 
Krishna Garikipati
Mostafa Faghih Shojaei, Rahul Gulati, Benjamin A. Jasperson, Shangshang Wang, Simone Cimolato, Dangli Cao, Willie Neiswanger, Krishna Garikipati摘要
我们推出了 AI 大学 (AI-U)，这是一个灵活的框架，用于人工智能驱动的课程内容交付，可以适应教师的教学风格。AI-U 的核心是微调大型语言模型 (LLM)，并使用检索增强生成 (RAG) 从讲座视频、笔记和教科书中生成与教师对齐的响应。以研究生水平的有限元方法 (FEM) 课程为例，我们提出了一个可扩展的流程，以系统地构建训练数据、使用低秩自适应 (LoRA) 微调开源 LLM，并通过基于 RAG 的合成优化其响应。我们的评估（结合余弦相似度、基于 LLM 的评估和专家评审）证明了与课程材料的高度一致性。我们还开发了一个原型 Web 应用程序，可在 https://my-ai-university.com 上访问，该应用程序通过将人工智能生成的响应链接到相关课程材料的特定部分和开放访问视频讲座的时间戳实例来增强可追溯性。我们的专家模型在 86% 的测试案例中被发现与参考具有更高的余弦相似度。LLM 评判员还发现我们的专家模型在五分之四的情况下优于基础 Llama 3.2 模型。AI-U 为人工智能辅助教育提供了一种可扩展的方法，为在高等教育中更广泛地采用铺平了道路。在这里，我们的框架已在有限元方法课程的背景下提出，该课程是工程科学领域博士和硕士研究生培训的核心课程。然而，这种设置是更广泛背景下的一个特例：微调 LLM 以研究科学研究内容。
我们介绍了 AI 大学 (AI-U)，这是一个灵活的框架，用于 AI 驱动的课程内容交付，可以适应教师的教学风格。AI-U 的核心是，使用检索增强生成 (RAG) 微调大型语言模型 (LLM)，以从讲座视频、笔记和教科书中生成与教师对齐的响应。以研究生级别的有限元方法 (FEM) 课程为例，我们提出了一个可扩展的流程，以系统地构建训练数据，使用低秩自适应 (LoRA) 微调开源 LLM，并通过基于 RAG 的合成优化其响应。我们的评估——结合余弦相似度、基于 LLM 的评估和专家评审——证明了与课程材料的强烈对齐。我们还开发了一个原型 Web 应用程序，可在此 https URL 访问，通过将 AI 生成的响应链接到相关课程材料的特定部分和开放访问视频讲座的带时间戳的实例，增强了可追溯性。我们的专家模型被发现在 86% 的测试用例中与参考答案具有更高的余弦相似度。LLM 评判器还发现我们的专家模型的性能大约五分之四的时间优于基础 Llama 3.2 模型。AI-U 为 AI 辅助教育提供了一种可扩展的方法，为在高等教育中更广泛地采用铺平了道路。在这里，我们的框架已在有限元法课程的背景下提出——有限元法是工程科学博士和硕士研究生培训的核心科目。然而，这种情况是更广泛背景下的一个特例：微调 LLM 以适应科学研究内容。