SIAVC：工业事故视频分类的半监督框架
内容提要
本文提出了一种新框架用于解决类别增量视频分类（CIVC）任务，能够持续更新新类别并保持旧知识。通过自监督学习和半监督学习方法，提升了视频分类和动作检测的性能，尤其在少量标注样本情况下表现优异。研究还探讨了音频-视觉类增量学习和虚拟类别的应用，显著提高了模型的优化能力和准确性。
延伸解读
类别增量视频分类的挑战与应对
类别增量视频分类要求模型在学习新类别时不忘旧知识，但视频数据的高维性和时序复杂性加剧了遗忘。本文提出的框架利用视频特性来缓解遗忘，在Something-Something V2和Kinetics数据集上显著优于先前方法。这提示我们，针对视频的增量学习需要专门设计，而非简单套用图像领域的方案。
自监督与半监督学习的协同效应
文章整合了自监督学习框架VIVI和半监督学习方法VideoSSL。VIVI在19种视觉任务中超越最佳监督模型，VideoSSL则在少量标注样本下实现出色分类性能。两者结合，既能利用无标注数据学习通用表示，又能通过半监督适应特定任务，为标注成本高的视频应用提供了可行路径。
多模态与主动学习的扩展
除了视觉单模态，文章还探讨了音频-视觉类增量学习（AV-CIL），通过双通道相似性约束和视觉注意聚焦提升效果。同时，半监督主动学习结合信息样本选择，提高了动作检测的准确性和泛化能力。这些扩展表明，增量学习可以融合多模态信息和主动策略，以应对更复杂的现实场景。
虚拟类别与语义引导的优化
针对困惑样本，文章提出虚拟类别方法，无需标签修正即可提升模型优化能力和嵌入空间质量，在少标签下尤其有效。此外，语义引导的多级对比方案（SMC-NCA）在动作分割任务上显著超越最先进方法，编辑距离和准确度分别提升17.8%和12.6%。这些技术为细粒度视频理解提供了新思路。
Q&A
什么是类别增量视频分类（CIVC）任务？
类别增量视频分类（CIVC）任务是指在不断更新新类别的同时，保持旧视频知识的一种视频分类任务。
该框架在视频分类性能上有什么优势？
该框架通过自监督学习和半监督学习方法，在少量标注样本情况下显著提升了视频分类和动作检测的性能。
如何提高音频-视觉类增量学习的效果？
通过引入双通道音频-视觉相似性约束和视觉注意聚焦的方法，显著提高了音频-视觉类增量学习的效果。
该研究使用了哪些数据集进行评估？
该研究在Something-Something V2和Kinetics数据集上进行了评估。
虚拟类别方法在处理困惑样本时有什么优势？
虚拟类别方法在处理困惑样本时，无需进行标签修正，从而提高模型的优化能力和嵌入空间的质量。
半监督主动学习方法如何提高视频动作检测的准确性？
半监督主动学习方法结合标记和未标记数据，通过信息样本选择来提高视频动作检测的准确性和泛化能力。
