针对放射肿瘤学中医生信件生成的隐私保护本地微调LLaMA-3大型语言模型
原文中文,约300字,阅读约需1分钟。发表于: 。本研究解决了放射肿瘤学中医生信件生成的效率低下问题,采用了LLaMA模型的本地微调方法,以实现隐私保护。研究表明,经过QLoRA算法微调的LLaMA-3模型在生成特定机构风格的医生信件方面表现优于未微调的模型,获得临床专家高度评价,展现出显著的临床应用价值。
该研究提出了CancerLLM模型,具有70亿个参数和Mistral风格的架构,预先训练了2,676,642份临床笔记和515,524份病理报告,涵盖了17种癌症类型。CancerLLM在三个与癌症相关的任务上进行了微调,相对于其他语言模型取得了最先进的结果,平均F1得分提高了8.1%。此外,CancerLLM在两个鲁棒性测试中表现优于其他模型,可应用于临床AI系统,增强了癌症领域的临床研究和医疗服务。