本文提出了一个基于全面时间戳监督设置的 seq2seq 翻译的统一框架,用于解决视频动作分割问题。框架通过引入辅助监督信号和独立的对齐解码器,以及针对标准 Transformer seq2seq 翻译模型的模块化方法,能够应对长输入序列和相对较少的视频输出序列。通过有限 k-medoid 算法将框架扩展到基于时间戳的监督设置,用于生成伪分割。该框架在完全和时间戳监督设置中表现一致,胜过或与几个数据集上的最先进算法相竞争。
本文提出了一个基于序列到序列解决视频动作分割的统一框架,利用全面时间戳监督设置的 seq2seq 翻译。通过映射视频帧序列到动作分段序列的方法,解决动作分割问题。提出了修改和辅助损失函数,以及针对长输入序列和较少视频输出序列的模块化方法。引入了辅助监督信号和独立的对齐解码器,用于持续时间预测。通过有限 k-medoid 算法扩展框架到基于时间戳的监督设置,生成伪分割。在完全和时间戳监督设置中,框架表现一致,胜过或与几个数据集上的最先进算法相竞争。
完成下面两步后,将自动完成登录并继续当前操作。