芦荟家族秘方：用于开放和专业化医疗健康LLM

目的：随着大型语言模型 (LLM) 在医疗健康领域的进步，需要有竞争力的开源模型来保护公共利益。这项工作通过优化数据预处理和训练的关键阶段，为开源医疗 LLM 领域做出了贡献，同时展示了如何提高模型的安全性（通过 DPO）和有效性（通过 RAG）。所使用的评估方法包括四种不同类型的测试，为该领域定义了新标准。由此产生的模型被证明与最好的私有替代方案具有竞争力，并以许可性许可证发布。方法：在 Llama 3.1 和 Qwen 2.5 等强大基础模型的基础上，Aloe Beta 使用自定义数据集增强了公共数据，添加了合成的思维链示例。模型通过直接偏好优化进行对齐，强调在越狱攻击面前的道德和政策对齐性能。评估包括封闭式、开放式、安全性和人工评估，以最大限度地提高结果的可靠性。结果：在整个流水线上提出了建议，这些建议得到了 Aloe Family 扎实性能的支持。这些模型在医疗健康基准和医疗领域提供了有竞争力的性能，并常受到医疗专业人员的偏好。在偏见和毒性方面，Aloe Beta 模型显著提高了安全性，对未曾见的越狱攻击表现出弹性。为了负责任地发布，Aloe Family 模型附带了一份针对医疗健康的详细风险评估报告。结论：Aloe Beta 模型及其生产配方对开源医疗 LLM 领域做出了重要贡献，在保持高道德要求的同时提供了顶级的性能。这项工作为医疗健康领域对齐 LLM 的开发和报告设定了新标准。