Transformer 中的位置编码初始化对关系推理的重要性
内容提要
本文探讨了Transformer模型中的不同位置编码方法，提出了随机位置编码和相对位置编码的新方法，展示了其在长序列泛化和图像识别中的优越性能。研究表明，解码器模型可以在不依赖显式位置嵌入的情况下实现良好泛化，并优化了位置信息的利用，提升了模型准确性。
延伸解读
位置编码的多样性探索
文章汇总了多种位置编码研究，包括随机位置编码、相对位置编码、NoPE等。这些方法从不同角度改进Transformer对位置信息的处理，例如随机位置编码建立与高斯过程的联系，相对位置编码在图像和语音任务中表现优异。这些探索表明位置编码并非一成不变，而是可以根据任务需求灵活设计。
长序列泛化的关键因素
针对解码器模型，研究发现NoPE在长度泛化任务中优于显式位置编码，且无需额外计算。这提示我们，模型可能通过自我注意力机制隐式学习位置信息。但scratchpad的格式对性能影响很大，说明训练策略和提示设计同样重要。因此，提升长序列泛化能力需综合考虑模型架构与训练方法。
跨模态应用的性能提升
相对位置编码在图像识别和语音处理中均带来显著提升。例如，图像RPE提高了DeiT和DETR的准确率，语音任务中相对位置编码在Switchboard和MuST-C基准上取得最佳结果。这表明相对位置编码能有效适应不同模态的数据分布，增强模型对局部和全局关系的建模能力。
理论指导与设计权衡
文章还探讨了绝对与相对位置编码的关系，如图转换器中两者的区分能力可互换，以及绝对位置嵌入可能导致对相对位置信息的过度依赖。这些理论分析为位置编码设计提供了指导，提示研究者在选择编码方式时需权衡模型表达能力、泛化性和计算效率。
Q&A
随机位置编码与传统位置编码有什么区别？
随机位置编码替代了传统的加性位置编码，建立了与高斯过程的联系，能够更好地处理长序列的泛化问题。
解码器模型如何在不同位置编码下表现？
研究表明，解码器模型在使用NoPE时表现优于其他位置编码方法，尤其在长度泛化方面无需额外计算。
相对位置编码在图像识别中有什么应用？
相对位置编码在图像识别中显著提高了DeiT和DETR模型的准确率，且无需额外的超参数调节。
Decoupled Positional Attention机制的优势是什么？
Decoupled Positional Attention机制提高了Transformer模型的训练和推理效率，并在多个基准测试中表现出竞争力。
如何优化绝对和相对位置嵌入的利用？
通过自我关注机制增加查询、键和相对位置嵌入之间的交互，进一步优化了位置信息的利用。
相对位置编码在语音数据处理中的表现如何？
相对位置编码在语音数据处理上取得了最佳识别结果，适应了语音翻译的变量句子分割质量。
