ICON: 通过病灶感知混合增强改善放射学报告生成的报告内一致性
内容提要
该文综述放射学报告自动生成研究，涵盖多模态框架、条件交叉注意力融合、疾病定向检索与事实一致性生成、弱监督对比损失、SAM分割与监督对比学习、纵向表示学习及小样本病变引导等方法，可提升临床信息提取F1、ROUGE-L及报告完整一致性；人工评估确认准确性，但细节与临床背景仍需改进。
延伸解读
多模态融合提升报告生成性能
文章指出，结合结构化患者数据和非结构化临床记录的多模态深度神经网络框架，通过条件交叉多头注意力模块融合异构数据，能显著改善胸部X射线报告生成。与仅依赖图像的模型相比，在ROUGE-L指标上达到文献相关最高性能。这表明融合多源临床信息有助于弥合视觉与文本的语义差距，提升报告质量。
人工评估揭示模型局限
尽管模型在识别高级结果方面经放射科医师评估确认准确，但人工评估也强调需要更多改进以捕捉细微细节和临床背景。这说明当前自动生成报告在细节和上下文理解上仍有不足，临床应用中需谨慎对待，可能需结合医生审核。
疾病定向与事实一致性方法
针对疾病区域强调、视觉和文本数据偏见以及长文本生成等难题，文章提出利用疾病定向检索框架和事实一致性字幕生成器的方法。这有助于生成更准确、一致的报告，减少偏见，提高临床正确性，是报告生成领域的重要进展。
小样本与可解释性框架
病变引导的可解释性小样本医学报告生成框架，通过视觉和语义特征对齐学习见过的和新疾病类型之间的相关性，从而生成未在训练中观察到的疾病的报告。这提升了模型对罕见病的泛化能力，并增强了可解释性，对临床决策有潜在帮助。
Q&A
放射学报告自动生成目前面临哪些主要挑战？
主要挑战包括：疾病区域强调不足、视觉和文本数据偏见、长文本生成困难、质量评估和医生参与问题，以及捕捉细微细节和临床背景的不足。
有哪些方法可以提升放射学报告生成的临床信息提取性能？
可以通过引入新的激励机制，结合现有语义等效性指标和强化学习方法，在临床信息提取性能F1得分上取得22.1的改进。
如何利用多模态数据改善胸部X射线报告生成？
结合结构化患者数据和非结构化临床记录，采用多模态深度神经网络框架，并引入条件交叉多头注意力模块融合异构数据模态，可显著改善结果，在ROUGE-L指标上达到文献相关最高性能。
疾病定向检索框架如何解决医学图像报告生成中的难题？
该框架利用疾病定向检索以及事实一致性字幕生成器，解决疾病区域强调、视觉和文本数据偏见、长文本生成等难题。
弱监督对比损失在放射学报告生成中有什么效果？
弱监督对比损失方法能提高放射学报告生成的文本质量，在两个公共基准数据集上，临床正确性和文本生成指标均优于以前的工作。
如何实现解剖区域可控的放射学报告生成？
通过引入经过纵向表示学习和句子-解剖学丢弃的方法，整合自动化报告系统，可以加快报告速度并实现解剖区域可控的报告生成。
小样本病变引导框架如何生成未见过疾病的报告？
该框架通过视觉和语义特征对齐学习见过的和新疾病类型之间的相关性，从而生成未在训练中观察到的疾病的报告。
