在音视场景中引用和分割对象
原文中文，约1500字，阅读约需4分钟。
📝
内容提要
本文提出了音视频分割（AVS）问题，并构建了AVSBench基准，提供声音对象的像素级注释。通过时间像素级音视频交互模块和正则化损失函数，提升了视觉分割效果。研究表明，该方法有效建立了音频与视觉语义之间的联系，取得了良好的实验结果。
🔎
延伸解读
AVS 任务的核心与基准
音视频分割（AVS）旨在为可听视频帧中产生声音的物体输出像素级地图。该任务的关键在于建立音频与视觉语义之间的像素级对应关系。为此，研究者构建了首个 AVS 基准 AVSBench，为声音对象提供像素级注释，为后续研究提供了统一的评估平台。
方法创新：交互模块与正则化损失
所提方法通过基于时间的像素级音视频交互模块，将音频语义注入视觉分割过程，指导模型关注发声物体。同时设计正则化损失函数，鼓励训练期间学习音视频映射。实验表明，该方法能有效建立音频与视觉语义之间的联系，取得良好分割效果。
研究脉络与后续发展
自 AVS 提出后，该领域涌现出多项后续工作，如 AVIS 实例分割、AuTR 音频感知 Transformer、双向生成框架、AVSAC 双向解码器、AUSS 音频解混网络以及无监督 MoCA 等。这些研究在 AVSBench 上不断刷新性能，推动音频与视觉模态的深度融合。
❓
Q&A
音视频分割（AVS）是什么？
音视频分割（AVS）是一种旨在为可听视频帧中的声音物体输出像素级地图的技术。
AVSBench基准的作用是什么？
AVSBench基准为声音对象提供像素级注释，促进音视频分割研究的发展。
该研究中使用了哪些技术来提升视觉分割效果？
研究中引入了基于时间的像素级音视频交互模块和正则化损失函数，以提升视觉分割效果。
实验结果如何验证该方法的有效性？
实验表明，该方法有效建立了音频与视觉语义之间的联系，并取得了良好的实验结果。
音视频分割的研究有什么实际应用？
音视频分割可以用于多媒体内容分析、自动视频编辑和增强现实等领域。
该研究与现有方法相比有什么优势？
该研究通过建立音频与视觉的鲁棒相关性，展示了在音频和视觉语义之间的有效桥梁，取得了新的最先进表现。
🏷️
