TRRG:基于跨模态疾病线索增强的大型语言模型以实现真实的放射科报告生成
原文中文,约500字,阅读约需2分钟。发表于: 。本研究解决了放射科报告生成中由于数据不均衡和描述否定问题带来的挑战。通过一种新的阶段式训练框架TRRG,本研究在预训练和微调阶段引入跨模态疾病线索,有效提升了大型语言模型的疾病感知能力。实验结果表明,该方法在放射科报告生成方面达到了最先进的表现,提高了模型的临床有效性。
《Radiology Report Generation(R2Gen)》展示了多模态大型语言模型(MLLMs)如何自动化生成准确和连贯的放射学报告。通过引入新的策略SERPENT-VLM,该模型在IU X-ray和Radiology Objects in COntext(ROCO)数据集上优于现有的基线方法,并在嘈杂的图像环境中具有稳健性。这一研究为医学成像领域的自监督完善研究打开了新的研究路径。