通过分段伪标签提升弱监督音视频解析
内容提要
本文提出了一种通过语言描述视频段事件并计算相似度的方法，以识别事件并调整标签。新混合注意力网络和自适应MMIL池化方法有效解决了多模态学习问题，实验表明在弱标签条件下也能实现音频-视觉视频解析。
延伸解读
弱监督下的标签噪声挑战
文章指出，弱监督音视频解析中，仅使用视频级标签会导致不可靠的段落标签，即异态噪声标签问题。为此，作者提出通过语言描述每个视频段的事件出现情况，并计算语言提示与段落的相似度来识别事件并调整标签。这种方法旨在利用语言模态的语义信息，对噪声标签进行修正，从而提升模型训练的可靠性。
混合注意力与自适应池化的作用
针对多模态多实例学习问题，文章提出了新的混合注意力网络和自适应MMIL池化方法。混合注意力网络可能用于融合音频和视觉模态的信息，而自适应池化则用于处理多实例学习中的实例聚合问题。这两种方法共同作用，以解决多模态数据中的复杂关系，提升模型在弱标签条件下的解析能力。
标签平滑技术的引入
为了减轻模态偏置和嘈杂标签问题，文章利用了标签平滑技术。模态偏置指模型可能过度依赖某一模态而忽略另一模态，标签平滑则通过软化标签分布来降低噪声标签的影响。这一技术有助于模型更均衡地学习多模态特征，提高泛化性能，从而在弱监督条件下实现更好的音视频解析效果。
实验效果与对比
实验结果表明，即使只有视频级弱标签，该方法也能实现具有挑战性的音频-视觉视频解析，并且在AVVP任务上优于现有的HAN模型。这表明所提出的方法在弱监督条件下有效，能够提升解析性能。与HAN模型的对比进一步验证了该方法在解决多模态多实例学习问题上的优势。
Q&A
如何通过语言描述来识别视频段事件？
通过计算语言提示与视频段的相似度，可以识别事件并调整不可靠的段落标签。
新混合注意力网络的作用是什么？
新混合注意力网络用于解决多模态多实例学习问题，提高音频-视觉视频解析的效果。
在弱标签条件下，如何实现音频-视觉视频解析？
实验表明，即使只有视频级弱标签，也能通过新方法实现音频-视觉视频解析。
标签平滑技术的目的是什么？
标签平滑技术用于减轻模态偏置和嘈杂标签问题，提高模型的鲁棒性。
该方法与现有的HAN模型相比有什么优势？
该方法在音频-视觉视频解析任务上优于现有的HAN模型，表现出更好的性能。
如何处理异态噪声标签问题？
通过标签清理的训练策略，选择噪声样本并排序损失，从而有效处理异态噪声标签问题。
