对比学习与谱聚类存在等价性，多模态对象可相似嵌入，核混合损失优于高斯核。互信息分析引入新方法与定理，提升严谨性。基于互信息的对比学习在分类、检测、分割等任务表现更好。MCL通过跨网络对比分布提升视觉识别。GEMINI推广互信息，无需正则化且能自动选聚类数。ICL框架加速训练16倍以上。CLIP负高斯交叉互信息可评估生成任务。语义信息G理论用于多标签学习等。

本文汇总了多项基于Transformer的跨语言与多模态研究：利用少样本神经网络与多语言模型协同提升跨语言迁移；以SER为主任务、结合对比学习与信息最大化的领域适应方法；ML-CTL多级对比学习增强mBERT零样本迁移；SciMult多任务对比学习用于科学文献理解；Tensor2Tensor机器翻译参数实验及实用建议；mBART/BertSumAbs在俄语新闻摘要上刷新最优；VECO 2.0多粒度对齐跨语言预训练；改进Transformer提升法语低资源问答并推出FrALBERT；CALBERT支持相关反馈的持续微调；以及视频语言预训练任务、数据集与单/多流结构的综述。