使用特定领域的余弦相似度度量方法对胸部 X 射线报告进行语义文本相似性评估
内容提要
该文综述放射学报告生成研究，提出X-REM检索匹配模块，构建结合结构化数据与临床记录的多模态框架，利用GPT-4等大模型改进语义相似度评估，引入RadGraph奖励和纵向数据强化学习，并采用对比学习与潜在扩散模型，显著提升报告的临床正确性与文本生成质量。
延伸解读
从词重叠到语义相似度：评估指标的演进
文章指出，传统无监督NLP指标如ROUGE和BLEU在放射学报告评估中存在局限。为此，研究者开发了利用GPT-4等大语言模型进行零样本标签生成的框架，并在MIMIC数据上测试。结果显示，GPT-4生成的标签能显著改善语义相似度评估，其得分与临床实际情况更一致。这表明在高度专业化领域，LLM有望提供更贴近临床的语义分析，且该思路可扩展至其他专业领域。
多模态融合与检索增强：提升报告生成效果
文章介绍了X-REM检索匹配模块，利用语言-图像模型计算胸部X射线图像与报告的匹配分数，从而改进基于检索的生成方法。同时，有研究结合结构化患者数据和非结构化临床记录，通过条件交叉多头注意力模块融合异构数据，在ROUGE-L指标上达到文献相关最高性能。人工评估确认了模型识别高级结果的准确性，但也指出在捕捉细微细节和临床背景方面仍需改进。
强化学习与纵向数据：优化临床正确性
文章提到，通过引入RadGraph奖励，基于胸透领域实体和实体关系的新方法显著提高了放射学报告的实际完成度和正确性。此外，结合患者以前的影像学研究报告，使用CXR-BERT进行奖励的强化学习，能改善胸部X射线报告生成的效率。这些方法表明，利用领域知识和纵向数据可以进一步提升报告生成的临床准确性。
Q&A
X-REM 模块是什么？它如何提升放射学报告生成效果？
X-REM 是 Contrastive X-Ray REport Match 的缩写，是一种检索型放射学报告生成模块。它使用语言-图像模型计算匹配分数，衡量胸部 X 射线图像和放射学报告的相似性，从而提高基于检索方法的报告生成效果，优于之前的方法。
如何利用多模态数据（结构化数据与临床记录）生成胸部 X 射线报告？
通过结合结构化患者数据和非结构化临床记录，提出一种多模态深度神经网络框架，并引入条件交叉多头注意力模块来融合这些异构数据模态，弥合视觉和文字数据之间的语义差距。实验证明，使用附加模态可以显著改善结果，在 ROUGE-L 指标上达到了文献相关最高性能。
GPT-4 等大语言模型如何改进放射学报告的语义相似度评估？
开发了一个框架，利用类似 GPT-4 的 LLMs 进行零样本文本识别和标签生成，并为放射学报告进行度量，然后将这些标签作为文本相似度的测量标准。在 MIMIC 数据上测试发现，GPT-4 生成的标签能显著改善语义相似度评估，其得分与临床实际情况更为一致，不同于传统的 NLP 度量标准。
RadGraph 奖励在放射学报告生成中起什么作用？
通过使用 RadGraph 奖励，提出了一种基于胸透领域实体和实体关系的新方法，以进一步提高放射学报告的实际完成和正确性，该方法显著改善了放射学报告生成效果。
纵向数据如何用于改善胸部 X 射线报告生成？
通过考虑纵向数据，结合患者以前的影像学研究报告，使用 CXR-BERT 进行奖励的强化学习，改善胸部 X 射线报告生成的效率以提高诊断准确性。
对比学习在放射学报告生成中有哪些应用？
一方面，提出了一种弱监督的对比损失方法，用于提高放射学报告生成的文本质量，实验表明在两个公共基准数据集上临床正确性和文本生成指标优于以前的工作。另一方面，介绍了一种基于语义模型的对比学习方法，在生物医学领域的文本-语言建模中取得了目前最先进的结果，可以更好地理解医学图像和报告。
潜在扩散模型如何用于胸部 X 射线图像生成？
提出一种策略来克服大规模自然-医学分布偏移，并使用预先训练的潜在扩散模型在公开可用的胸部 X 射线（CXR）及其对应的放射学（文本）报告语料库上进行调整，评估了生成的高保真 CXR 的图像质量和文本-图像对齐的能力，并观察到使用数据增强的方式训练动态成像分类器的证据。
