SFGANS 自监督的人体动作分割未来生成器
内容提要
本文综述了视频人类活动分割与识别的多项研究：提出Fisher向量结合时间模型的端到端生成式方法；利用自监督认知预测学习缓解RNN灾难性遗忘；通过连续时间嵌入实现无监督动作发现；借助叙述语言弱监督提升分割性能；提出融合帧级与段级线索的Transformer框架；采用自监督学习与RNN/HMM进行无监督分割；FGSN细粒度分割改善长期视觉定位；DeepSegmenter统一分割与分类以识别异常驾驶；多粒度生成器执行时间动作提议；以及基于HMM的弱监督框架结合新Viterbi算法与特征亲和正则化。
延伸解读
从监督到自监督：动作分割的监督信号演变
文章梳理的多项研究显示，视频动作分割的监督方式正从完全监督向弱监督、无监督和自监督扩展。2018年的认知预测学习框架在三个数据集上优于弱监督和其他非监督方法最多24%，并接近完全监督性能；2020年的叙述语言弱监督和2021年的自监督RNN/HMM方法进一步减少了对逐帧标注的依赖。读者可关注不同监督强度下性能与标注成本的权衡。
Transformer与生成式模型进入分割任务
2023年的Transformer框架同时利用帧级线索和段级线索，通过帧级预测模块、段级预测模块和帧到段对齐模块协同工作。另一项多粒度生成器（MGG）将段提议生成器与帧活性生产者组合，从不同粒度执行时间动作提议，并可与现有动作分类器配合用于视频检测。这表明分割任务正从单一粒度向多线索、多粒度融合演进。
应用场景分化：驾驶异常与长期定位
文章中的方法并非只停留在通用数据集。DeepSegmenter在单一框架中同时执行活动分割和分类，用于识别驾驶员异常驾驶行为，并在2023年AI城市挑战赛验证数据上取得0.5426的活动重叠得分。FGSN则面向长期视觉定位，通过细粒度分割提供更多标签并自我学习应对季节性变化，整合到现有定位算法后可显著提高定位精度。
阅读时需注意的局限
文章以时间线方式罗列多项研究，但各方法的实验数据集、评价指标和对比基线并不统一，部分结论仅来自原文摘要式描述。例如24%的提升是在特定三个公共数据集上相对弱监督和非监督方法而言，不能直接跨研究比较。读者应区分方法声称的适用场景与已验证场景，并留意弱监督框架中Viterbi算法和特征亲和正则化等细节是否公开可复现。
Q&A
有哪些自监督方法可以用于视频人体动作分割？
文章提到一种基于认知心理的预测学习框架，通过自适应学习减少RNN中的灾难性遗忘，在三个公共数据集上优于弱监督和其他非监督方法最多24%，性能可与全监督方法媲美。此外，还有使用自监督学习和RNN/HMM算法实现无监督动作分割的方法，在多个数据集上优于现有技术。
无监督视频动作分割有哪些主要技术路线？
文章综述了多种无监督分割技术：基于连续时间嵌入的聚类方法发现非结构化视频中的动作；基于Transformer的框架利用帧级和段级线索；使用自监督学习和RNN/HMM算法；以及基于HMM的弱监督框架结合新Viterbi算法和特征亲和正则化。
Transformer在无监督活动分割中是如何应用的？
文章提出一种基于Transformer的框架，首先通过帧级预测模块使用Transformer编码器估计逐帧动作类别，然后引入段级预测模块和帧到段对齐模块来利用段级信息。
弱监督动作分割有哪些改进方法？
文章提到应用叙述指导下的生成式分段模型，在无监督和弱监督设置中利用任务结构和叙述语言作为监督来源提高分割质量；还介绍了一种基于HMM的弱监督框架，提出新的Viterbi算法和特征亲和正则化方法提高性能。
如何利用多粒度生成器进行时间动作提议？
文章提出多粒度生成器（MGG），从不同粒度角度利用视频视觉特征执行时间动作提议，将段提议生成器（SPP）和帧活性生产者（FAP）组合起来执行两个不同粒度的时间动作提议任务，可与现有动作分类器一起用于视频检测，性能优于现有方法。
DeepSegmenter在异常驾驶行为识别中表现如何？
DeepSegmenter是一个同时在单个框架中执行活动分割和分类的方法，用于识别驾驶员的异常驾驶行为。在2023年AI城市挑战赛的实验验证数据中取得了0.5426的活动重叠得分，证明了其有效性、高效性和稳健性。
