AMP：自主驾驶中基于下一个令牌预测思想的自回归运动预测再研究
内容提要
本文探讨了基于Efficient Attention的模型在自动驾驶运动预测中的应用，利用Argoverse数据集提取轨迹和地图特征。研究提出了多模态注意机制和新型多层感知机，显著提高了预测精度和效率。
延伸解读
从语言模型到运动预测的范式迁移
文章将连续轨迹离散化为运动令牌，把多智能体运动预测视为语言建模任务，这一思路借鉴了自然语言处理中的自回归生成。其优势在于无需锚点或显式潜在变量优化，直接通过最大化序列令牌的平均对数概率来学习多模态分布，并支持时间因果条件推断。这为自动驾驶预测提供了一种新的建模范式，但需注意其依赖大规模离散化词表，可能损失轨迹的精细连续性。
效率与精度的权衡：AMLP与轻量基准
针对非自回归生成模型中的二次复杂度问题，文章提出线性时间和空间复杂度的新型多层感知机AMLP，并在文本转语音和机器翻译任务中验证了效率优势。同时，基于Argoverse的基准线方法结合注意力与GNNs，以较少操作和参数达到与SOTA相当的精度。这些工作表明，在运动预测中，通过架构创新可以在不显著牺牲精度的情况下提升效率，但跨任务泛化能力仍需在自动驾驶场景中进一步验证。
自监督预训练与多模态未来建模
文章介绍了Masked Motion Prediction框架，通过对蒙面的空间-时间骨骼序列进行预测，提升自监督预训练性能，在NTU-60等动作识别数据集上取得最先进结果。此外，基于概率的框架学习表示语义多模态未来的潜在变量，利用动态注意力状态编码器建模智能体交互。这些方法共同指向一个趋势：通过自监督和潜在变量建模来捕捉未来不确定性，但实际部署时需考虑计算开销与实时性要求。
Q&A
Efficient Attention模型在自动驾驶运动预测中的作用是什么？
Efficient Attention模型用于从Argoverse数据集中提取轨迹和地图特征，以提高自动驾驶运动预测的精度和效率。
什么是MotionLM模型，它有什么优势？
MotionLM模型将连续轨迹表示为离散运动令牌序列，具有不需要锚点、利用语言建模目标和时间因果条件推断等优势。
Masked Motion Prediction（MAMP）框架的主要功能是什么？
MAMP框架通过对蒙面的空间-时间骨骼序列进行预测，提高自监督预训练性能，增强对丰富语义区域的关注。
如何解决非自回归生成模型中的复杂度问题？
通过提出新型多层感知机（AMLP），该模型具有线性时间和空间复杂度，显著提高了效率。
研究中如何模拟车辆之间的社交关系？
研究采用基于Transformer结构的神经预测框架，利用多模态注意机制来模拟车辆之间的社交关系。
基于概率的框架在车辆轨迹预测中有什么应用？
该框架用于学习表示语义多模态未来的潜在变量，以预测智能与复杂动态环境下的多个目标路径。
