将医师诊断逻辑纳入大型语言模型：从过程反馈中进行偏好学习
内容提要
该文综述医疗大语言模型研究进展：PlugMed通过提示生成与响应排名训练对话行为；Qilin-Med结合持续预训练、监督微调与直接偏好优化，基于3Gb中医数据集，在CMExam和Huatuo-26M上表现提升；中医模型引入7万条真实医患对话数据集CMtMedQA；Med-PaLM 2接近医师水平；BooksMed基于GRADE提供循证答复；GPT4诊断推理提示不损准确性；扩展-猜测-精化策略在USMLE子集达70.63%。
延伸解读
偏好学习在医疗对话中的两种实现路径
文章介绍了PlugMed和Qilin-Med两种利用偏好学习优化医疗对话的方法。PlugMed通过提示生成与响应排名两个模块训练对话行为；Qilin-Med则结合持续预训练、监督微调和直接偏好优化，并基于3Gb中医数据集。两者都试图让模型输出更符合临床对话习惯，但PlugMed侧重对话行为选择，Qilin-Med侧重多阶段训练流程，读者可关注其评估方式差异。
中医数据集的规模与评测表现
Qilin-Med使用了包含医疗问答、纯文本、知识图谱和对话的3Gb中医数据集，并在CMExam上突破Baichuan-7B的准确率，在Huatuo-26M测试集上BLEU-1和ROUGE1分别达到16.66和27.44。另一项工作引入7万条真实医患对话的CMtMedQA数据集。这些数据规模为中医LLM训练提供了基础，但文章未说明数据质量与标注标准，读者需留意其泛化能力。
提示策略与循证推理的互补价值
GPT4通过诊断推理提示模拟临床推理过程而不损失诊断准确性，BooksMed则利用GRADE框架提供基于证据的答复。前者关注推理过程的可解释性，后者强调证据等级。两者表明，在不改变模型参数的情况下，提示设计和外部证据框架也能提升医疗回答的可靠性，但文章未给出临床落地验证，实际效果仍需谨慎看待。
对齐策略的性能与局限
“扩展-猜测-精化”策略结合指令调整、少样本和连续思考，在USMLE数据集子集上达到70.63%的表现。这一结果展示了对齐策略在医学问答中的潜力，但文章仅报告了子集成绩，未说明全量测试或跨数据集表现。读者应将其视为初步分析，而非普遍适用的结论，后续需更多独立验证。
Q&A
PlugMed 医疗对话系统是如何工作的？
PlugMed 通过提示生成和响应排名两个模块来训练大型语言模型实现合适的对话行为，在自动和手动评估中都表现出优异的效果。
Qilin-Med 在训练中使用了哪些数据和方法？
Qilin-Med 采用多阶段训练方法，结合专业域持续预训练（DCPT）、监督微调（SFT）和直接偏好优化（DPO），并引入一个包含医疗问答、纯文本、知识图谱和对话的 3Gb 中医数据集。
中医大型语言模型引入了什么新的数据集？
中医大型语言模型引入了包含 7 万个真实医患对话的中文多轮医疗对话数据集 CMtMedQA。
Med-PaLM 2 在医疗问答上的表现如何？
Med-PaLM 2 结合了大型语言模型的改进、医学领域微调和新的集成细化方法，在医疗问答上达到了接近或超过医师水平的最先进性能。
BooksMed 如何提供基于证据的可靠答复？
BooksMed 使用大型语言模型构建框架，利用 GRADE 框架来提供基于证据的可靠答复，并引入 ExpertMedQA 来评估 LLM 的性能。
“扩展-猜测-精化”策略在医学问答中的效果如何？
该策略通过指令调整、少样本和连续思考等方法显著提高了大型语言模型的性能，在 USMLE 数据集的问题子集上达到了 70.63% 的优异表现。
