自适应伪标签学习用于半监督时序动作定位

💡 原文中文,约1200字,阅读约需3分钟。
📝

内容提要

本文提出了多种新颖的时序动作定位方法,包括自适应递增学习模型、半监督学习框架和弱监督定位框架。这些方法通过改进伪标签生成和对比损失等技术,显著提升了在多个数据集上的性能,超越了现有技术。

🎯

关键要点

  • 提出了一种自适应递增学习模型,改进聚类置信度和增量实例学习策略,提高无监督时间动作定位效果。

  • 研究中引入高斯加权融合模块和Delta伪标签概念,优化伪标签生成,超越现有方法表现。

  • 提出点级别监督时序动作定位新方法,通过生成灵活时长的动作提案和聚类算法生成密集伪标签,提升伪标签质量。

  • 新型半监督时间动作定位方法通过学习非目标类别挖掘未标记视频信息,优于之前最先进的方法。

  • 采用自适应对比学习和多尺度时间学习策略,提出半监督动作识别方法,改善少量标记数据下的时空推理能力。

  • Action Sensitivity Learning框架通过轻量级评估器和对比损失实现动作示例识别和定位,实验结果显示优于现有技术。

  • 基于弱监督的时序动作定位框架AutoLoc,通过OIC损失函数自动发现分段级别监督,显著提高定位模型的平均精度。

  • 子动作原型学习框架通过生成伪标签改善动作边界预测,在多个基准测试中超越现有最优方法。

  • 自监督预训练的假动作定位任务(PAL)用于未监督视频特征编码器的预训练,提升时间动作定位任务性能。

  • 交叉模型伪标记的半监督行为识别方法利用不同结构模型互相预测伪标签,达到更好的识别效果。

延伸问答

自适应递增学习模型的主要优势是什么?

自适应递增学习模型通过改进聚类置信度和增量实例学习策略,提高了无监督时间动作定位的效果。

什么是Delta伪标签,它的作用是什么?

Delta伪标签是一种优化伪标签生成的概念,旨在提高伪标签的质量,从而超越现有方法的表现。

半监督时间动作定位方法如何挖掘未标记视频的信息?

半监督时间动作定位方法通过学习非目标类别,挖掘未标记视频中的有价值信息,从而提升学习效果。

AutoLoc框架在定位模型的精度上有何提升?

AutoLoc框架通过OIC损失函数,平均精度在THUMOS'14数据集中从13.7%提高至21.2%,在ActivityNet数据集中从7.4%提高至27.3%。

子动作原型学习框架的主要功能是什么?

子动作原型学习框架通过生成伪标签来改善动作边界预测,并在多个基准测试中超越现有最优方法。

自监督预训练的假动作定位任务(PAL)有什么创新之处?

PAL引入了一种时间等价对比学习范例,旨在提高未监督视频特征编码器的性能,具有更好的适应性和效果。

🏷️

标签

➡️

继续阅读