医疗金融法律大模型:从ChatDoctor到BloombergGPT/FinGPT/FinBERT、ChatLaw/LawGPT_zh
内容提要
ChatLaw是一个包括ChatLaw-13B和LawGPT_zh的法律大模型。ChatLaw-13B在法律选择题上表现优异,LawGPT_zh在法律领域更可靠和专业。还有可商用的数据集和模型,包括Dolly 2.0、RedPajama、COIG和StableLM。这些数据集和模型适用于商业目的,并提供了相应的链接和特点介绍。
关键要点
-
ChatLaw是一个法律大模型,包括ChatLaw-13B和LawGPT_zh。
-
ChatLaw-13B在法律选择题上表现优异,LawGPT_zh在法律领域更可靠和专业。
-
可商用的数据集和模型包括Dolly 2.0、RedPajama、COIG和StableLM。
-
Dolly 2.0是第一个开源、遵循指令的LLM,适用于商业目的。
-
RedPajama是全球最大的开源训练数据集,容量达到1.2万亿token。
-
COIG是首个大规模、可商用的中文开源指令数据,包含191k数据。
-
StableLM是一个开源语言模型,支持多种下游应用,具有高性能。
-
ChatDoctor是基于LLaMA微调的医疗类模型,显著提高了医疗对话的准确性。
-
华驼模型是中文医学指令微调的LLaMA-7B模型,提升了医疗问答效果。
-
PMC-LLaMA使用480万篇生物医学论文微调LLaMA模型,取得良好效果。
-
ChatGLM-6B是基于中文医学知识微调的模型,提供了多种医疗对话数据。
-
DoctorGLM是基于ChatGLM-6B的中文问诊模型,包含大量医疗对话数据。
-
MedicalGPT-zh是基于ChatGLM-6B LoRA 16-bit指令微调的中文医疗通用模型。
-
FinBERT是金融领域的模型,采用与BERT相同的结构,提升了金融任务的性能。
-
BloombergGPT是待更的金融领域大模型,尚未详细介绍。