文本输入模态对动作预测效果的研究
内容提要
该文综述动作预测研究，涵盖知识蒸馏、LSTM与注意力机制、记忆与预测建模、多模态Transformer及时间卷积网络等方法，在EPIC-Kitchens等数据集上效果显著，并探索将视觉听觉特征转为文本以融入大语言模型。
延伸解读
方法演进：从时序建模到多模态融合
文章梳理了动作预测方法的演进脉络：早期基于LSTM与注意力机制（如MATT）处理尺度序列问题；随后出现记忆与预测建模（如Memory-and-Anticipation Transformer）以捕捉过去、现在与未来的时间结构；近期则转向多模态Transformer（如TransFusion）和时间卷积层次网络，通过融合视觉、听觉等模态提升预测效果。这一趋势显示，单一模态和循环结构正逐渐被多模态融合与并行化架构补充。
文本化多模态：连接大语言模型的桥梁
文章特别提到将视觉和听觉特征转化为文本描述（TextMI），再与口头文本结合，从而把多模态信息整合到基于文本的预训练大语言模型中。这种方法在情感、幽默和讽刺检测等任务上经过微调后表现良好，为低资源环境下的多模态行为分析提供了通用基准。这提示读者，文本化可能是多模态与LLM结合的一条实用路径，但文章未涉及具体转化细节和性能对比。
数据集与性能：EPIC-Kitchens等基准上的验证
文章多次提及EPIC-Kitchens、EGTEA Gaze+、50Salads等数据集作为动作预测的评测基准。例如，AVT模型在四个基准上达到最佳性能，并在EpicKitchens-100 CVPR'21挑战赛中获得第一名；多阶段LSTM方法在JHMDB-21、UT-Interaction和UCF-101上分别相对提升22.0%、14.0%和49.9%的准确率。这些结果说明该领域在标准数据集上已取得显著进展，但不同方法间的直接比较需注意数据集和任务设置的差异。
技术路线对比：循环结构与时间卷积的取舍
文章提到一种基于时间卷积的层次结构多模态神经网络，不依赖循环层，在处理大规模自我中心视频时达到了与最新研究相当的性能，但具有明显的时间优势。这与基于LSTM的方法形成对比，暗示在需要高效处理的场景中，非循环架构可能更受青睐。不过，文章未提供具体的时间或资源消耗数据，读者需结合自身需求评估适用性。
Q&A
动作预测中如何利用知识蒸馏提升效果？
研究将预训练语言模型中的知识转移应用于视觉模型，实验表明简单的蒸馏技术可以在两个动作预测数据集上实现一定的相对增益。
MATT框架是什么？它在动作预测中有什么优势？
MATT是基于LSTMs和Modality ATTention机制的行为预测框架，能有效解决计算机视觉领域的尺度序列问题，在EPIC-Kitchens等数据集上表现出色。
Memory-and-Anticipation Transformer如何建模时间结构？
该论文提出基于记忆和预测的方法来建模整个时间结构，包括过去、现在和未来，并通过Memory-and-Anticipation Transformer在在线动作检测和预测任务中取得显著的性能优势。
TransFusion模型如何利用语言总结进行物体交互预测？
TransFusion是基于多模态变换器的架构，利用语言总结过去的动作背景，这个动作背景和下一个视频帧一起被多模态融合模块处理以预测下一个物体交互。模型提高了端到端学习的效率，并通过Ego4D和EPIC-KITCHENS-100实验证明了有效性。
基于时间卷积的层次结构多模态神经网络有什么特点？
该网络不依赖于循环层实现人类动作预测，通过多模态融合机制在处理具有自我中心视频意义的大数据集时达到了与最新研究相当的性能，但具有明显的时间优势。
TextMI方法如何将多模态信息整合到大语言模型中？
TextMI将非语言性特征（如视觉和听觉）转化为对应的文本描述，并与口头文本结合，从而将多模态信息整合到基于文本的预训练大语言模型中。在情感、幽默和讽刺检测等下游任务中fine-tune后取得满意性能，可作为低资源环境下多模态行为分析任务的通用基准。
