OTAS: 无监督的面向对象的时间动作分割的边界检测
原文中文,约200字,阅读约需1分钟。发表于: 。我们提出了一种名为 OTAS 的无监督框架,通过探索局部特征的优点,实现了时域行为分割,并通过自监督全局和局部特征提取模块以及边界选择模块,融合特征并检测行为分割的显著边界。在实验中,我们发现 OTAS 相对于推荐的 F1 分数平均提高了 41%,甚至在用户研究中优于人工标注的地面真值,并且 OTAS 具备实时推理能力。
该文提出了一种半监督学习方法,用于解决工程视频中行为分割的问题。该方法适用于只有一小部分有标签数据和大量没有标签数据的情况。作者提出了两个新的损失函数和自适应边界平滑方法,并在三个基准测试中评估,结果表明它们显著提高了行为分割性能,并在使用少量标记数据的情况下取得了与全监督相当的结果。