研究人员提出了一种新的多模态深度神经网络框架，用于生成描述医学图像结果的胸部X射线检查报告。实验证明，使用附加模态可以显著改善结果，但需要更多改进。

本文介绍了一种新的多模态深度神经网络框架，用于生成描述医学图像结果的胸部 X 射线检查报告。该框架结合了结构化患者数据和非结构化临床记录，并通过引入条件交叉多头注意力模块来融合这些异构数据模态，以弥合视觉和文字数据之间的语义差距。实验证明，使用附加模态可以显著改善结果。经过认证的放射科医师对该模型进行了人工评估，确认了其在识别高级结果方面的准确性，但也指出需要更多改进。