本研究提出了一种基于分割符合预测框架的方法，旨在减轻大型视觉语言模型在视觉问答任务中的虚假内容问题。该方法通过动态阈值标定和跨模态一致性验证，在用户定义的风险水平下构建具有统计保证的预测集，适用于医疗和自动化系统等安全关键领域。

本研究提出UniForm统一扩散变换器，旨在解决音视频生成系统模块独立性过强的问题，优化跨模态一致性。实验结果显示其在音视频生成任务中表现优异。

本研究提出跨模态一致性概念，评估多模态模型的表现，发现GPT-4V在视觉与语言模态之间存在显著不一致，为模型改进提供了见解。

本文介绍了两种训练策略：SimRegCR和SimZeroCR，用于实现一致性正则化的最新性能。在MuST-C基准测试中，我们的方法取得了最先进的性能。分析证明，一致性正则化对于端到端语音转文本翻译至关重要，跨模态一致性可提升零-shot翻译性能。