集体 SFT：在医疗评估中使用集体指令扩展大型中文语言模型
原文中文，约1500字，阅读约需4分钟。
📝
内容提要
本文介绍了针对医学和中医领域的大型语言模型评估工具和基准，如CMB、MedBench和TCM-Bench，旨在提升模型在中国医学中的应用效果。研究综合评估模型性能，揭示其能力与局限性，并提出新的训练方法和数据集，以优化医学领域的语言模型表现。
❓
Q&A
CMB是什么，它的目的是什么？
CMB是一个基于中文和本土文化框架的医学基准评估工具，旨在促进大型语言模型在中国医学领域的应用和改进。
MedBench包含多少个医学问题，它的作用是什么？
MedBench包含40,041个医学问题，用于评估医学语言学习模型的知识掌握和推理能力。
TCM-Bench如何评估中医领域的语言模型？
TCM-Bench通过提出TCMScore作为评估中医问题回答质量的指标，综合评估中医领域大型语言模型的性能。
CMtMedQA数据集的特点是什么？
CMtMedQA数据集包含7万个真实医患对话，旨在提升基于中医的大型语言模型的性能和安全性。
如何解决医学领域大型语言模型评估的挑战？
通过引入CMExam数据集，该研究解决了医学领域大型语言模型评估的挑战，并分析了LLMs在中国医学中的表现。
多阶段训练方法在医学LLM中的应用效果如何？
多阶段训练方法结合了专业域持续预训练、监督微调和直接偏好优化，显著提升了医学LLM的性能。
🏷️
