使用大型语言模型在Databricks上自动化放射学工作流程
内容提要
放射学是诊断和治疗疾病的重要组成部分，利用X射线、CT、MRI、核医学、PET和超声等医学成像技术。使用大型语言模型（LLMs）可以自动化行政工作，提高放射科医生的效率。通过PEFT和QLoRA等方法，减少计算需求，提高性能和准确性。
延伸解读
人工分配协议标签的成本与风险
文章指出，放射科医生手动分配协议标签存在两大问题：一是人为错误可能导致标签不准确，影响后续影像检查；二是这项行政任务消耗了医生大量时间。据统计，放射科医生每年花费约3.5%至6.2%的工作时间在标签分配上，相当于17,000至30,000美元的人力成本。通过自动化这部分工作，可以释放医生的时间，让他们专注于诊断等更高价值的任务，同时提高标签的一致性和准确性。
参数高效微调如何降低计算需求
为了在有限的计算资源下微调大型语言模型，文章介绍了参数高效微调（PEFT）方法。以权重矩阵为例，传统微调需要更新2亿个参数，而PEFT通过将矩阵分解为两个小矩阵，仅需更新24万个参数，减少了约99%的参数量。这显著降低了计算需求，同时保持了模型性能。QLoRA作为PEFT的一种实现，进一步通过4位量化、双重量化和分页优化器等技术减少内存使用，使得在单机上微调大模型成为可能。
Databricks平台上的集成与治理优势
整个管道在Databricks上运行，从Hugging Face获取基础模型，到使用Unity Catalog存储数据和模型，再到用MLflow记录和注册模型，最后用PySpark进行批量推理。这种集成方式带来了治理上的便利：可以限制对敏感患者笔记的访问，确保只有授权人员能查看；也能控制模型输出的使用，仅限相关医疗专业人员访问。此外，所用功能均普遍可用，符合HIPAA合规要求，为医疗健康领域的微调场景提供了安全可靠的环境。
Q&A
大型语言模型如何改善放射科医生的工作流程？
大型语言模型可以自动化行政工作，减少放射科医生在协议标签分配上的时间和错误，提高工作效率。
放射科医生在标签分配上每年花费多少？
放射科医生每年在标签分配上花费约17,000到30,000美元。
什么是参数高效微调（PEFT）？
参数高效微调（PEFT）是一种在微调过程中冻结部分参数的方法，以减少计算需求并保持性能。
QLoRA在大型语言模型中有什么创新？
QLoRA引入了4位正常浮点、双重量化和分页优化器等创新概念，以减少内存使用并保持高性能。
如何在Databricks上实现放射学工作流程的自动化？
在Databricks上，通过获取基础模型、导入合成数据集并执行PEFT和QLoRA的微调过程来实现放射学工作流程的自动化。
放射学工作流程中手动分配协议标签的主要问题是什么？
主要问题是人类错误和时间浪费，这会影响诊断的准确性和效率。
