集体 SFT：在医疗评估中使用集体指令扩展大型中文语言模型
内容提要
本文介绍了针对医学和中医领域的大型语言模型评估工具和基准，如CMB、MedBench和TCM-Bench，旨在提升模型在中国医学中的应用效果。研究综合评估模型性能，揭示其能力与局限性，并提出新的训练方法和数据集，以优化医学领域的语言模型表现。
延伸解读
中文医学LLM评估的基准体系
文章梳理了多个中文医学大模型评估基准，包括CMB、MedBench、TCM-Bench、CMExam和PromptCBLUE。这些基准覆盖不同维度：CMB侧重本土文化框架，MedBench提供4万余问题并涵盖43个临床专业，TCM-Bench提出TCMScore评估中医问答质量，CMExam关注中国医学表现，PromptCBLUE则评估生物医学多任务能力。它们共同构成了从通用医学到中医、从知识掌握到推理能力的评估体系。
训练方法与数据集的创新
为提升医学LLM性能，文章介绍了多阶段训练方法，结合专业域持续预训练、监督微调和直接偏好优化，并引入3Gb中医数据集。同时，CMtMedQA数据集包含7万真实医患对话，用于增强中医LLM的指令遵循能力和安全性。这些方法在Qilin-Med模型上取得显著提升，在CMExam准确率上突破Baichuan-7B，并在Huatuo-26M测试集上BLEU-1和ROUGE1分别达到16.66和27.44。
评估的标准化与动态机制
文章强调建立全面、标准化的医学LLM评估过程，以MedBench作为基准系统，提供最大评估数据集并实现动态评估机制。这有助于可靠地揭示模型能力与局限，为实际应用奠定基础。动态评估机制可能意味着基准会更新或适应模型发展，但文章未详细说明其具体运作方式。
Q&A
CMB是什么，它的目的是什么？
CMB是一个基于中文和本土文化框架的医学基准评估工具，旨在促进大型语言模型在中国医学领域的应用和改进。
MedBench包含多少个医学问题，它的作用是什么？
MedBench包含40,041个医学问题，用于评估医学语言学习模型的知识掌握和推理能力。
TCM-Bench如何评估中医领域的语言模型？
TCM-Bench通过提出TCMScore作为评估中医问题回答质量的指标，综合评估中医领域大型语言模型的性能。
CMtMedQA数据集的特点是什么？
CMtMedQA数据集包含7万个真实医患对话，旨在提升基于中医的大型语言模型的性能和安全性。
如何解决医学领域大型语言模型评估的挑战？
通过引入CMExam数据集，该研究解决了医学领域大型语言模型评估的挑战，并分析了LLMs在中国医学中的表现。
多阶段训练方法在医学LLM中的应用效果如何？
多阶段训练方法结合了专业域持续预训练、监督微调和直接偏好优化，显著提升了医学LLM的性能。
