PosMLP-Video：高效视频识别的时空相对位置编码
内容提要
该研究提出了一种新型位置空间门控单元（PoSGU）和视觉 MLP（PosMLP），有效提高了性能并降低了参数复杂度。同时，研究探讨了随机位置编码和相对位置编码在图像识别中的应用，显著提升了模型的准确率。此外，研究还展示了自注意力网络在语音数据处理中的优势，以及多人姿态估计和跟踪的统一框架。
延伸解读
位置编码的演进：从加性到相对
文章梳理了位置编码从传统加性正弦编码到随机位置编码、相对位置编码的发展脉络。随机位置编码被证明与相对位置编码类似，并建立了与高斯过程的联系，弥补了线性Transformer无法使用相对位置编码的不足。图像相对位置编码则显著提升了DeiT和DETR的准确率，且无需额外超参数调节。这些进展表明位置编码正朝着更高效、更灵活的方向演进。
视觉MLP的轻量化设计思路
PosMLP通过引入位置空间门控单元（PoSGU），在处理局部信息和多粒度非局部关系的同时，减少了参数复杂度并提升了性能。这与MorphMLP等自注意力自由架构的设计理念一致，即利用全连接层进行视频表示学习，在精度与计算量之间取得更好平衡。对于资源受限的视频识别任务，这类轻量化MLP架构提供了有竞争力的替代方案。
跨模态与多任务的位置编码应用
相对位置编码不仅用于图像识别，还成功应用于语音处理，使Transformer适应语音数据的分散分布，在Switchboard和MuST-C基准上取得最佳结果。此外，统一框架SpatialNet和TemporalNet将位置编码与时空关系结合，用于多人姿态估计和跟踪。这些案例说明位置编码已成为跨模态、多任务学习中的通用组件，其设计思路可迁移到不同领域。
Q&A
什么是位置空间门控单元（PoSGU）？
位置空间门控单元（PoSGU）是一种用于处理视觉多层感知器中的局部信息和多粒度非局部关系的新型单元。
PosMLP如何提高视频识别的性能？
PosMLP通过减少参数复杂度并有效处理局部和非局部信息，从而提高了视频识别的性能。
随机位置编码与传统位置编码有什么区别？
随机位置编码替代了传统的加性位置编码，能够更好地适应线性Transformer变量，并在多个基准测试中表现出色。
相对位置编码在图像识别中的应用效果如何？
相对位置编码在图像识别中显著提高了DeiT和DETR的准确率，无需额外的超参数调节。
自注意力网络在语音数据处理中的优势是什么？
自注意力网络能够适应语音数据的分散分布特点，并在多个基准测试中获得最佳识别结果。
多人姿态估计和跟踪的统一框架包含哪些组件？
该框架包含SpatialNet和TemporalNet两个主要组件，分别用于身体部位检测和连续帧中的人类实例分组。
