将分割任何模型扩展到音频和时间维度进行音频 - 视觉分割
内容提要
本文介绍了基于SAM模型的音频-视觉定位与分割框架AV-SAM，旨在实现音频对象的精确分割。通过建立视觉特征与声音的相关性，提出了音频-视觉实例分割（AVIS）任务及其标准数据集AVISeg，验证了新方法在音频-视觉分割中的有效性。此外，提出了音视频分割（AVS）问题及基准AVSBench，利用时间像素级交互模块提升分割效果，实验结果显示该方法在音频-视觉表示学习中取得了显著进展。
延伸解读
从图像分割到音频-视觉分割的演进
文章梳理了音频-视觉分割领域从2022年到2024年的发展脉络。早期工作如AVSBench和AVS问题定义（2022-2023）奠定了任务基础，随后AV-SAM（2023年5月）将SAM模型扩展到音频维度，AVIS任务（2023年10月）进一步引入实例分割与跟踪。这一演进显示研究从静态图像分割向动态多模态理解深化，逐步解决模态对齐与时序交互等核心挑战。
核心任务与基准数据集的构建
文章重点介绍了音频-视觉实例分割（AVIS）和音视频分割（AVS）两个任务，并分别构建了AVISeg和AVSBench基准数据集。AVISeg是首个针对声音对象实例分割与跟踪的标准数据集，AVSBench则提供像素级注释。这些基准的建立为方法评估提供了统一平台，推动了领域内可重复研究，但文章未提及数据集的具体规模与多样性限制。
关键技术：跨模态交互与数据生成策略
为提升分割精度，文章提出了多种技术：时间上的像素级音视频交互模块、双向音频-视觉解码器、二向桥接设计以及跨模态语义过滤（CMSF）。此外，Visual Post-production（VPO）策略通过合成数据降低标注成本，Audio-Aware Transformer（AuTR）利用查询式解码器增强音频感知。这些方法共同指向一个趋势：通过更精细的模态交互与数据效率优化，解决音频-视觉分割中的背景噪音与重叠对象难题。
Q&A
AV-SAM框架的主要功能是什么？
AV-SAM框架能够生成对应于音频的听觉对象掩模，实现音频的定位和分割。
音频-视觉实例分割（AVIS）任务的目的是什么？
AVIS任务旨在同时识别、分割和跟踪可听视频中的单个声音对象实例。
AVSBench基准的作用是什么？
AVSBench基准为音视频分割提供了像素级注释，促进了音频-视觉分割的研究。
AVSAC方法如何增强音频与视觉的交互？
AVSAC方法通过构建双向音频-视觉解码器和二向桥接设计，增强了音频线索与视觉模态之间的交互。
如何通过时间像素级交互模块改善音频-视觉分割？
时间像素级交互模块通过指导视觉分割过程，帮助实现更平衡的音频-视觉表示学习。
CMSF方法在音频-视觉分割中有什么优势？
CMSF方法在复杂场景中能够准确关联音频-掩码对，特别是在重叠前景对象的分割中表现优异。
