KARGEN:基于大语言模型的知识增强自动放射学报告生成
原文中文,约500字,阅读约需2分钟。发表于: 。本研究针对如何高效触发大型语言模型(LLMs)中的相关知识,以提升自动放射学报告生成的实用性进行探索。提出的KARGEN框架,通过整合知识图谱,提取与胸部疾病相关的特征,与图像区域特征结合,生成更敏感且质量更高的放射报告。研究结果在MIMIC-CXR和IU-Xray数据集上表现出色。
《Radiology Report Generation(R2Gen)》展示了多模态大型语言模型(MLLMs)如何自动化生成准确和连贯的放射学报告。通过引入新的策略SERPENT-VLM,该模型在IU X-ray和Radiology Objects in COntext(ROCO)数据集上优于现有的基线方法,并在嘈杂的图像环境中具有稳健性。这一研究为医学成像领域的自监督完善研究打开了新的研究路径。