轨迹对准的时空令牌用于少样本动作识别
内容提要
本文探讨了如何利用文本预训练转换器（如GPT-4 Turbo）进行视觉模仿学习，能够在少样本情况下将视觉观察转化为动作轨迹。研究表明，这种方法在低数据环境下的表现与最先进的模仿学习相媲美，并提出了新的视觉和动作学习路径。多个基于少样本学习的模型在不同数据集上取得了优异的识别效果。
延伸解读
文本转换器跨界视觉模仿学习
文章提出将视觉观察和动作轨迹转化为文本序列，利用GPT-4 Turbo等预训练文本转换器进行少样本视觉模仿学习。这种方法无需额外训练，在低数据环境下表现与扩散策略等最先进模仿学习方法相当甚至更好。Keypoint Action Tokens（KAT）利用文本转换器学习视觉和动作领域的常规模式，为自然语言模型应用于具体任务提供了新途径。
少样本动作识别技术演进
文章回顾了多个少样本动作识别方法，包括TA2N、TAEN、STAN、TSA-MLT、JEANIE、STTS、SA-CT、STRM等。这些方法分别从时空对齐、视点不变性、多层次特征融合、动态关键信息选择、空间关系整合等角度提升性能，在Kinetics、ActivityNet、HMDB51、UCF101、NTU-60等基准数据集上取得了最先进或竞争力的结果，反映了该领域多路径并进的趋势。
低数据环境下的性能优势
在低数据情况下，文本转换器将标记化视觉关键点观察转化为行动轨迹的表现与最先进的模仿学习（扩散策略）相媲美甚至更好。这表明预训练语言模型在少样本视觉模仿学习中具有潜力，为数据稀缺场景下的动作识别与模仿提供了新思路，但文章未提及具体性能指标或计算成本。
Q&A
什么是轨迹对准的时空令牌？
轨迹对准的时空令牌是一种利用文本预训练转换器进行视觉模仿学习的方法，能够在少样本情况下将视觉观察转化为动作轨迹。
GPT-4 Turbo在少样本学习中的表现如何？
在低数据环境下，GPT-4 Turbo的表现与最先进的模仿学习相媲美，甚至更好。
Two-stage Action Alignment Network (TA2N)的主要功能是什么？
TA2N通过学习时间仿射变换来定位动作，解决时空分布不一致的问题。
Temporal Aware Embedding Network (TAEN)在什么数据集上取得了好结果？
TAEN在Kinetics-400和ActivityNet 1.2少样本数据集上取得了令人满意的结果。
STAN模型的创新之处是什么？
STAN模型通过引入视点不变特征表示，持续改进动作识别任务的表现。
STTS框架的主要优势是什么？
STTS框架通过动态选择视频关键信息，保持高识别准确率的同时减少计算量。
