本文探讨了在成本敏感情况下，如何自动选择错误修正的位置和大小，以最大化修正数量，并提出动态更新框架以训练纠错成本模型。研究还介绍了新的语音转文字任务及其改进的转录质量方法，展示了跨模态融合技术在自动语音识别中的应用，显著提升了效率和准确性。

本文提出了一种多交互双解码器方法，以提升RGB-thermal显著物体检测的性能。通过自监督学习和新模块设计，成功解决了跨模态融合问题。实验结果表明，该方法在多个数据集上优于现有技术，展现出良好的鲁棒性和泛化能力。

本文提出了一种基于全局和局部信息的定位框架，利用全局损失和动态重加权机制来解决学习困难。实验表明，该方法在图像-文本和音频-文本检索任务中优于以往技术。此外，研究了人脸与声音的关联，提出了音视频语音识别的新技术，展示了跨模态融合在说话人验证中的潜力。

本研究提出了一种基于Transformer的跨模态融合架构，旨在提升多模态融合与全景场景感知的效果。通过失真感知模块处理对象变形，结合特征矫正和信息交换，测试结果显示在多个数据集上取得了显著的mIoU性能提升。此外，研究还介绍了多个新数据集和方法，推动了室内场景理解和3D视觉研究的发展。

本文综述多模态言论与情感分析研究，提出条件因式分解基线，将言论分解为单、双、三模态因子，通过加权平均获得嵌入，推理速度较神经模型快十倍。相关研究涵盖EffMulti情感框架、JM3D三维表示、双人对话建模、社交媒体实体识别及视频标题一致性检测，均验证了跨模态融合的有效性。

该文综述了利用深度学习和多模态数据预测癌症患者生存预后的研究，涵盖乳腺癌、肺癌、肾细胞癌和结直肠癌。方法整合病理图像、CT、PET/CT及临床数据，采用跨模态融合、自监督学习和多任务学习等技术，在生存风险分层和个性化治疗决策上取得优于现有方法的预测性能。

该文综述开放域口语问答研究，涉及DUAL方法、NMSQA基准、语音识别噪声影响、DDNet跨模态融合、Spoken-CoQA数据集、CADNet抗噪方法、DPR检索改进及ConvADR-QA等，旨在提升真实场景下的问答性能。

本研究提出了一种基于Transformer的跨模态融合架构，用于弥合多模态融合与全景场景感知之间的差距，并使用失真感知模块来处理极端对象变形和全景失真。通过跨模态交互实现特征矫正和信息交换，最终将特征合并以传达双模态和三模态特征流的长程上下文。在三个室内全景数据集中进行测试，达到了较高的性能。

本研究提出了一种基于Transformer的跨模态融合架构，用于弥合多模态融合与全景场景感知之间的差距，并使用失真感知模块来处理极端对象变形和全景失真。通过跨模态交互实现特征矫正和信息交换，最终将特征合并以传达双模态和三模态特征流的长程上下文。在三个室内全景数据集中进行测试，达到了较高的mIoU性能。