TCMBench：中医药领域大型语言模型综合评估基准
内容提要
本文介绍了针对大型语言模型的评估工具和基准测试，特别关注中文和中医领域。研究提出了CMB、MedBench和Qibo等工具，旨在评估模型在医学和传统汉语中的表现，揭示其能力与局限性，促进中医智能助手的发展，并强调本土化模型的必要性。
延伸解读
中医大模型评估的现状与挑战
文章汇总了多个针对中文和中医领域的大模型评估基准，如CMB、MedBench、Qibo-benchmark等，反映出该领域评估工具正逐步细化。但同时也揭示出，现有模型在古文理解、复杂推理等任务上表现不佳，例如C^3bench显示大模型在古文任务上仍逊于监督模型，CMMLU中多数模型平均准确率不足50%。这表明中医大模型虽在知识问答上有所进展，但深层语言理解与推理能力仍是短板。
本土化与提示语言对评估的影响
文章提到TMLU强调培养本土化台湾国语大模型，并发现开放权重模型在复杂推理上表现较差，且台湾国语版本与简体中文版本存在差距。TCM-QA的评估也显示中文提示比英文提示表现更好。这些结果提示，评估中医大模型时需考虑语言和文化背景的适配性，直接套用英文基准或提示可能低估模型在中文语境下的真实能力，本土化基准和提示设计对准确评估至关重要。
从评估到应用：中医智能助手的开发基础
Qibo作为基于LLaMA开发的中医领域大模型，经历了从预训练到监督微调的完整流程，并配套了Qibo-benchmark评估工具。文章指出，这类专用模型和基准为量化比较不同模型在中医领域的理解和应用能力提供了依据，也为中医智能助手的未来研究方向提供指导。这表明，评估不仅是排名工具，更是推动中医AI从实验室走向实际应用的关键环节，需持续迭代基准以覆盖更多临床场景。
Q&A
CMB工具的主要功能是什么？
CMB工具用于评估中文和医学领域的大型语言模型，旨在促进中医领域的普及和改进。
MedBench包含多少个医学问题？
MedBench包含40,041个医学问题。
Qibo模型的开发基础是什么？
Qibo模型是基于LLaMA开发的，专注于中医领域。
TCM-QA数据集的评估结果如何？
TCM-QA数据集评估显示中文提示在知识召回和推理能力上表现更好。
CMMLU基准测试的目的是什么？
CMMLU基准测试旨在评估多种领域的中文大型语言模型性能。
C^3bench评估了哪些任务？
C^3bench评估了古文理解任务中的15个大语言模型。
