TCM-FTP：中药方剂预测的大型语言模型微调
内容提要
本文提出了一种针对中医领域的自适应方法，通过预训练和微调大型语言模型（如TCM-GPT-7B），显著提高了中医任务的准确性。研究引入多个中医数据集，评估不同模型的性能，强调了人工智能在中医诊疗中的潜力与挑战。
延伸解读
领域自适应策略的有效性
文章通过多阶段训练方法（如持续预训练、监督微调和直接偏好优化）展示了领域自适应在中医任务中的价值。TCM-GPT-7B在准确性上相对提升17%和12%，表明针对中医语料进行预训练和微调能显著提升模型性能。这为其他专业领域的LLM适配提供了参考。
评估基准与指标的重要性
研究引入了TCM-Bench和TCMScore等评估工具，以及TCM-QA、TCMD等数据集，用于系统评估LLM在中医领域的能力。这些基准不仅能量化模型表现，还揭示了现有模型在中医问答中的不足，如ChatGPT在多项选择中精度仅0.241，突显了领域特定评估的必要性。
数据资源与模型发展的相互制约
文章指出，现有数据集不足以支持数据驱动的人工智能技术在中医上的进一步发展。尽管已有TCM-SD（涵盖148种证候）和3Gb中医数据集等资源，但数据规模和质量仍是瓶颈。这提示未来研究需在扩大高质量中医数据的同时，推动模型架构和训练方法的创新。
中医智能化的挑战与机遇
虽然AI在中医诊疗中展现出潜力，如Qibo模型和ZY-BERT在证候辨析上的应用，但研究也揭示了诸多挑战，包括模型鲁棒性不足、中英文提示差异等。这些发现强调了跨学科合作的重要性，结合计算机科学与中医学知识，才能推动中医诊疗系统的信息化和智能化。
Q&A
TCM-GPT-7B模型的准确性提升了多少？
TCM-GPT-7B在两个中医任务上的准确性分别提高了17%和12%。
TCM-SD数据集的特点是什么？
TCM-SD是首个涵盖148种证候的大规模数据集，旨在支持中医证候辨析的研究。
如何评估中医领域大型语言模型的性能？
TCM-Bench提出了TCMScore作为评估中医问题回答质量的指标，综合分析模型的能力和局限性。
人工智能在中医诊疗中面临哪些挑战？
人工智能在中医诊疗中面临数据集不足以支持进一步发展的挑战。
TCM-FTP方法的主要步骤是什么？
TCM-FTP方法结合了专业域持续预训练、监督微调和直接偏好优化等多阶段训练步骤。
Qibo模型的开发目的是什么？
Qibo模型旨在为中医领域提供专业知识，支持中医智能助手的研究和应用。
