使用预训练嵌入初始化 Transformer
内容提要
本研究探讨了深度学习中嵌入初始化方法对自然语言处理任务的影响，发现预训练嵌入优于随机初始化，且高方差初始化会影响网络性能。研究分析了预训练词向量在低资源翻译中的提升效果，并提出了改进语言模型的有效方法，通过优化嵌入权重和参数分配，显著提高了模型在多语言任务中的表现。
延伸解读
嵌入初始化：随机与预训练的实际差异
文章指出，预训练嵌入通常略优于随机初始化，但随机初始化方法之间只要方差合理，性能差异并不显著。高方差初始化会迫使网络依赖其他自由参数，而非有效利用嵌入空间。这提示实践者：若采用随机初始化，需控制方差；若追求稳定提升，预训练嵌入是更可靠的选择。
低资源翻译中的预训练词向量价值
在低资源神经机器翻译场景下，使用预训练词向量可带来最高20个BLEU分数的提升。这一结果凸显了预训练词向量在数据稀缺时的作用，但提升幅度因实验设置而异，并非所有情况都能达到如此效果。读者应关注具体任务条件，而非将20 BLEU视为普遍预期。
解耦嵌入与参数分配的效率优化
文章重新评估了共享输入输出嵌入权重的做法，发现解耦嵌入能提供更好的建模灵活性。通过重新分配输入嵌入参数，可在微调参数不变的情况下提升自然语言理解性能。更大的输出嵌入还能防止最后几层过度专注预训练任务，使表示更通用，从而在XTREME基准上表现优异。
预训练嵌入的几何特征与改进方法
文章探讨了预训练BERT嵌入的几何特征，并提出基于可学习权重的方法来处理向量的同一性问题，在三项标准任务中取得较好性能。此外，BERT-flow方法通过将句子嵌入分布变换为平滑各向同性的高斯分布，显著提升了语义文本相似度任务的表现。这些工作表明，对嵌入空间的后处理能有效释放预训练模型的潜力。
Q&A
预训练嵌入与随机初始化的比较结果是什么？
预训练嵌入略优于随机初始化，但高方差初始化会影响网络性能。
预训练词向量在低资源翻译中的效果如何？
在低资源翻译中，预训练词向量可以使翻译结果提升最高20个BLEU分数。
如何改善预训练BERT嵌入的表现？
提出了一种基于可学习权重的方法，可以更好地处理向量的同一性问题。
解耦的嵌入有什么优势？
解耦的嵌入提供了更好的建模灵活性，提升了多语言模型的性能。
预训练语言模型在多个领域的表现如何？
预训练语言模型在多个领域任务中表现优于从头训练的模型，强调了输入层的重要性。
高方差初始化对网络性能的影响是什么？
高方差初始化会阻止网络使用嵌入空间，强制其使用其他自由参数来完成任务。
