时间序列预测中位置编码的引人注目特性
内容提要
本文研究了变压器模型中的位置编码方法，提出了时间绝对位置编码（tAPE）和高效相对位置编码（eRPE），并结合卷积输入编码构建了多元时间序列分类模型ConvTran。实验结果表明，该模型在多个数据集上优于现有的卷积和变压器模型。此外，研究探讨了动态位置编码和条件位置编码在翻译和图像分类中的应用，显示了性能提升。
延伸解读
位置编码在时间序列中的创新
文章提出了时间绝对位置编码（tAPE）和高效相对位置编码（eRPE），并将它们与卷积输入编码结合，构建了ConvTran模型。在32个多元时间序列数据集上的实验表明，ConvTran优于最先进的卷积和Transformer模型。这提示我们，针对时间序列数据的特点设计位置编码，可能比直接套用自然语言处理中的位置编码更有效。
动态位置编码提升翻译性能
动态位置编码（DPE）通过新的位置嵌入纠正目标单词的位置信息，在英德法意四种翻译任务中取得了显著的性能提升。这表明位置编码的动态调整可能有助于模型更好地处理序列中的位置信息，尤其是在翻译这类需要精确顺序的任务中。
NoPE：无需显式位置编码的泛化能力
研究发现，在解码器Transformer中，NoPE方法在推理和数学任务中表现优于其他位置编码方法，且无需额外计算。理论上，NoPE能代表绝对和相对位置嵌入，但训练后主要呈现T5相对位置嵌入的注意力模式。这挑战了Transformer必须显式添加位置编码的传统观点，为长序列泛化提供了新思路。
条件位置编码解决视觉长序列问题
条件位置编码（CPE）通过从输入标记的本地邻域动态生成位置编码，解决了视觉Transformer处理较长输入序列的问题，并在图像分类任务中保持了平移不变性。实验表明，CPVT比使用学习位置编码的注意力地图性能更好。这为视觉任务中位置编码的设计提供了新方向。
Q&A
什么是时间绝对位置编码（tAPE）？
时间绝对位置编码（tAPE）是一种新的绝对位置编码方法，用于在变压器模型中处理时间序列数据。
高效相对位置编码（eRPE）有什么特点？
高效相对位置编码（eRPE）是一种实现相对位置编码的新方法，旨在提高变压器模型在时间序列数据中的表现。
ConvTran模型的优势是什么？
ConvTran模型结合了tAPE和eRPE与卷积输入编码，在多个多元时间序列数据集上表现优于现有的卷积和变压器模型。
动态位置编码（DPE）如何提升翻译性能？
动态位置编码（DPE）通过新的位置嵌入纠正目标单词的位置信息，显著提升了在英德法意四种翻译任务中的性能。
条件位置编码方案（CPE）解决了什么问题？
条件位置编码方案（CPE）用于视觉Transformers，解决了模型处理较长输入序列的问题，提升了图像分类任务的性能。
NoPE方法在长度泛化方面的表现如何？
NoPE方法在解码器Transformer模型中对长度泛化的影响表现优异，且无需额外计算。
