大型语言模型的零样本位定偏差
内容提要
本文提出通过移除编码器层残差连接来缓解多语言神经机器翻译中的零翻译问题，使表示更对应特定语言，零翻译任务BLEU提升达18.5，同时有监督翻译保持高质量，隐藏层分析证实语言无关性增强。
延伸解读
方法核心：移除编码器残差连接
文章提出通过移除编码器层中的残差连接来缓解零翻译问题。这一改动使模型表示更倾向于特定语言，而非共享的语言无关特征。在零翻译任务上，该方法带来高达18.5个BLEU点的提升，同时有监督翻译质量保持稳定。隐藏层分析进一步证实，移除残差连接后表示的语言无关性增强，这为理解多语言模型中的语言特定与通用表示提供了新视角。
零翻译问题的背景与影响
零翻译是多语言神经机器翻译中的常见问题，指模型在未见过某一翻译方向时直接复制源语言词或输出乱码。文章指出，该问题与模型表示的语言无关性有关：编码器倾向于学习跨语言共享特征，导致解码时难以区分目标语言。通过移除残差连接，模型被迫保留更多语言特定信息，从而在零翻译任务上显著提升性能，而有监督方向未受明显影响。
实验效果与语言无关性分析
文章报告零翻译任务BLEU提升达18.5，同时有监督翻译保持高质量。对隐藏层输出的详细检查表明，移除编码器残差连接后，模型表示的语言无关性增强。这意味着模型在编码阶段更少依赖跨语言共享表示，更多保留源语言特有信息，从而在解码到目标语言时减少零翻译现象。该分析为方法有效性提供了可解释的证据，而非仅依赖端到端指标。
Q&A
多语言神经机器翻译中的零翻译问题有什么解决方法？
本研究提出移除编码器层中的残差连接，使模型表示更多地与特定语言对应，从而有效缓解零翻译问题。
移除编码器残差连接对零翻译任务的BLEU提升有多大？
在零翻译任务上获得高达18.5个BLEU点的提升。
这种改进方法会影响有监督翻译的质量吗？
不会，在其他有监督的翻译任务中保持了高质量的表现。
如何验证移除残差连接后模型表示更具语言无关性？
通过对隐藏层输出的详细检查，表明该方法确实能够获得更多的语言无关性。
除了移除残差连接，还有哪些缓解位置偏差的方法？
本研究还提出了Random Position Shifting和Context Perturbation两种方法，在CoNLL03、UD_en和TweeBank数据集上性能提升约2%。
TPDM框架如何改善零样本翻译性能？
TPDM框架通过Token级别的位置解缠模块有选择地保留有用的位置信息，从而改善零样本翻译性能并减少监督方向的性能损失。
