保护隐私、提高可及性、降低成本：一种用于医疗转录和笔记生成的设备端人工智能模型

背景：临床文件对医疗服务提供者来说是沉重负担，医生每天花费多达2小时进行行政任务。大语言模型（LLMs）的最新进展提供了有前景的解决方案，但隐私问题和计算要求限制了它们在医疗环境中的应用。目标：开发并评估一个隐私保护的端侧医疗转录系统，该系统使用微调的Llama 3.2 1B模型，能够从医疗转录文本中生成结构化医疗笔记，同时完全在浏览器中保持完整的数据主权。方法：我们使用参数高效微调（PEFT）结合LoRA，在1,500对合成的医疗转录-结构化笔记数据上对Llama 3.2 1B模型进行了微调。该模型在两个数据集上与基础Llama 3.2 1B进行了评估：100份内分泌学转录文本和140个修改后的ACI基准案例。评估采用了统计指标（ROUGE、BERTScore、BLEURT）以及跨多个临床质量维度的LLM作为评判者的评估。结果：微调后的OnDevice模型相对于基础模型表现出显著改进。在ACI基准测试中，ROUGE-1分数从0.346提高到0.496，BERTScore F1分数从0.832提高到0.866。临床质量评估显示，主要幻觉显著减少（从85例降至35例），事实准确性增强（5分制下从2.81提高到3.54）。在内部评估数据集上也观察到类似的改进，综合得分从3.13提高到4.43（+41.5%）。结论：为医疗转录微调紧凑型LLMs带来了临床上有意义的改进，同时实现了完整的端侧浏览器部署。这种方法解决了医疗领域AI采用的关键障碍：隐私保护、成本降低以及资源受限环境下的可访问性。