BriefGPT - AI 论文速递
·
TCM-FTP：中药方剂预测的大型语言模型微调
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
研究者提出了一种多阶段训练方法，将大型语言模型（LLMs）应用于医疗保健中。通过该方法，医学LLM（Qilin-Med）在测试中表现出显著的性能提升，突破了其他模型的准确率。这显示了该训练方法在医疗应用中的优势。
🎯
关键要点
-
将大型语言模型（LLMs）整合到医疗保健中存在潜力但也面临挑战。
-
提出了一种多阶段训练方法，结合了专业域持续预训练（DCPT）、监督微调（SFT）和直接偏好优化（DPO）。
-
引入了一个包含医疗问答、纯文本、知识图谱和对话的 3Gb 中医数据集。
-
医学 LLM（Qilin-Med）在测试中表现出显著的性能提升，突破了 Baichuan-7B 在 CMExam 上的准确率。
-
在 Huatuo-26M 测试集上，Qilin-Med 超过了 SFT 的性能，在 BLEU-1 和 ROUGE1 上分别达到 16.66 和 27.44。
-
该训练方法在医疗应用中优化 LLMs 的优势得到了凸显。
➡️
