自我训练在开放词汇时间行为定位中的可扩展性探索
内容提要
OVFormer是一种新型开放词汇框架，结合大型语言模型和交叉注意机制，提升视频动作分类和定位效果。通过两阶段训练策略，能够推广到新类别。此外，研究提出了自适应递增学习模型和OpenTAL框架，以解决未知动作问题，实验结果验证了其有效性。
延伸解读
开放词汇时间行为定位的技术脉络
文章梳理了从2018年到2024年时间行为定位领域的关键进展，包括弱监督框架AutoLoc、少样本学习设置、自监督预训练任务PAL、测试时间自适应方法T3AL、开放场景框架OpenTAL以及开放词汇框架OVFormer。这些工作分别针对标注数据稀缺、未知动作处理、跨类别泛化等挑战，体现了该领域从封闭集向开放词汇、从全监督向弱监督/少样本演进的趋势。
OVFormer的核心机制与验证
OVFormer通过任务特定提示利用大型语言模型生成动作类别的丰富描述，并引入交叉注意机制对齐类别表示与帧级视频特征。其两阶段训练策略先在更大词汇数据集上训练，再对下游数据微调，从而推广到新类别。在THUMOS14和ActivityNet-1.3基准上的综合评估证明了该方法的有效性，为开放词汇时间行为定位提供了新思路。
应对未知动作与领域适应的不同路径
针对开放场景中不可避免的未知动作，OpenTAL基于证据深度学习，从具有不确定性的动作分类、动作性预测和时间位置回归三方面进行建模。而T3AL则专注于测试时间自适应，利用自监督启发式程序定位动作区域，并用字幕模型提取的帧级文本描述优化提案，在THUMOS14和ActivityNet-v1.3上明显优于零样本视觉语言模型方法。两者分别从模型不确定性和测试时适应角度提升鲁棒性。
弱监督与自监督的协同增效
AutoLoc通过自动发现分段级监督，利用Outer-Inner-Contrastive损失训练定位模型，在THUMOS'14上IoU阈值为0.5时平均精度从13.7%提升至21.2%，在ActivityNet上从7.4%提升至27.3%。PAL则通过假动作定位任务进行自监督预训练，引入时间等价对比学习范例，提升视频特征编码器的性能。这些方法表明，弱监督和自监督技术能有效降低标注成本并增强模型泛化能力。
Q&A
OVFormer的主要功能是什么？
OVFormer是一种新型开放词汇框架，结合大型语言模型和交叉注意机制，提升视频动作分类和定位效果。
OVFormer是如何推广到新类别的？
OVFormer采用两阶段训练策略，包括与更大词汇数据集的训练和对下游数据的微调，从而推广到新类别。
自适应递增学习模型的作用是什么？
自适应递增学习模型通过改进聚类置信度和增量实例学习策略，提高无监督时间动作定位效果。
OpenTAL框架解决了什么问题？
OpenTAL框架基于证据深度学习，解决开放场景下的未知动作问题。
T3AL方法的优势是什么？
T3AL方法在测试时间自适应方面显著优于基于视觉语言模型的零样本方法，提升了动作区域定位的效果。
AutoLoc框架如何提高定位精度？
AutoLoc框架通过自动发现分段级别监督训练模型，显著提高了定位精度。
