我们提出了一种多模态深度神经网络框架，通过结合结构化患者数据和非结构化临床记录生成胸部X光报告。该框架使用条件交叉多头注意力模块，缩小视觉和文字数据的语义差距。实验显示，增加模态显著提升了结果，ROUGE-L指标达到最高。人工评估和临床语义相似度测量确认了模型的准确性，但也指出需要改进以捕捉细节和临床背景。

该研究提出了一种基于图像-上下文-文本交互的新范式，通过使用大型多模态模型生成描述性文本上下文来弥合图像和文本之间的语义和形式差距。实验结果表明，该方法在多模态信息提取方面优于现有的最先进方法。

内容检索 (CBIR) 系统是计算机视觉领域的关键工具，通过基于视觉内容进行图像搜索。本综述论文介绍了CBIR的作用和潜力，并探讨了系统面临的挑战和解决方案。重点是语义差距和集成相关反馈的方法。综述还研究了机器学习和深度学习技术，为CBIR的发展提供了指导。

研究了跨模态检索在解决实体与其描述之间语义差距方面的作用，发现其可以与单模态检索互补，提供更简单和廉价的解决方案。同时，研究了三种不同的模型微调策略：单模态、跨模态或联合训练。