基于 Transformer 基础模型的课程推荐：采用 InfoNCE 损失和语言切换方法
内容提要
本文汇总了多项基于Transformer的跨语言与多模态研究：利用少样本神经网络与多语言模型协同提升跨语言迁移；以SER为主任务、结合对比学习与信息最大化的领域适应方法；ML-CTL多级对比学习增强mBERT零样本迁移；SciMult多任务对比学习用于科学文献理解；Tensor2Tensor机器翻译参数实验及实用建议；mBART/BertSumAbs在俄语新闻摘要上刷新最优；VECO 2.0多粒度对齐跨语言预训练；改进Transformer提升法语低资源问答并推出FrALBERT；CALBERT支持相关反馈的持续微调；以及视频语言预训练任务、数据集与单/多流结构的综述。
延伸解读
跨语言迁移的两条技术路线
文中多项研究展示了提升跨语言迁移的两种思路：一是用少样本神经网络与多语言Transformer协同，借助meta-learning增强低资源语言向高资源语言的迁移；二是用多级对比学习（ML-CTL）显式利用平行句子的词级信息，并采用CZ-NCE损失缓解小批量浮点误差。两者分别从训练机制和数据对齐入手，为低资源语言场景提供了可参考的改进方向。
对比学习成为多任务增强的共性手段
从SER领域适应、ML-CTL到SciMult，对比学习被反复用作辅助任务或核心框架。SER方法以主任务加对比学习与信息最大化损失实现跨语料库情感识别；SciMult则通过任务感知分化和指令调整提升科学文献理解。这些案例说明，对比学习能灵活嵌入不同任务，但效果依赖任务设计与数据条件，并非通用即插即用。
工程实践与评测基准的参考价值
Tensor2Tensor实验给出了批大小、学习率、预热步数、最大句子长度和检查点平均等参数建议，对复现Transformer翻译实验有直接参考意义。同时，mBART与BertSumAbs在俄语新闻摘要上刷新最优，VECO 2.0在XTREME基准验证多粒度对齐，说明跨语言研究普遍依赖公开基准，读者可据此判断方法的可比性与适用边界。
Q&A
如何利用少样本神经网络和多语言Transformer模型协同提升跨语言迁移性能？
本文提出一种方案，使用少样本训练的神经网络与多语言Transformer基础模型协同作用，实现跨语言迁移。实验表明，该方法能显著提高低资源语言与高资源语言之间的迁移学习性能，并证明了元学习的能力。
ML-CTL框架如何提升mBERT的零样本跨语言迁移能力？
ML-CTL是一种多级对比学习框架，它使用翻译后的平行数据，并显式整合每对平行句子的单词级信息进行对比学习。该框架采用交叉零噪声对比估计（CZ-NCE）损失来减轻小批量大小浮点误差的影响，显著提高了mBERT的跨语言迁移能力，并在Xtreme基准的多个零样本跨语言下游任务中表现优异。
SciMult多任务对比学习框架在科学文献理解任务中有什么优势？
SciMult采用任务感知分化技术和指令调整技术，在多种科学文献理解任务中优于现有科学语言模型。
使用Tensor2Tensor进行神经机器翻译时有哪些关键参数和实用建议？
本文介绍了使用Tensor2Tensor框架和Transformer序列到序列模型进行神经机器翻译的实验，比较了影响翻译质量、内存使用、训练稳定性和时间的关键参数，并给出实用建议，包括扩展到多个GPU的方法、对批处理大小、学习率、预热步数、最大句子长度和检查点平均值的改进建议。
在俄语新闻摘要任务上，mBART和BertSumAbs取得了怎样的效果？
通过对mBART和BertSumAbs两种基于预训练Transformer模型的微调，在俄语新闻RIA和Lenta数据集上获得了新的最优结果，其中BertSumAbs分别将ROUGE提高了2.9和2.0个百分点。
VECO 2.0跨语言预训练模型采用了什么对齐方法？效果如何？
VECO 2.0是一种基于对比学习的多粒度对齐跨语言预训练模型，将序列到序列对齐和标记到标记对齐相结合，以支持跨语言模型预训练。在XTREME基准上的实验证明了该方法的有效性。
