将分割任何模型扩展到音频和时间维度进行音频 - 视觉分割
原文中文，约1600字，阅读约需4分钟。
📝
内容提要
本文介绍了基于SAM模型的音频-视觉定位与分割框架AV-SAM，旨在实现音频对象的精确分割。通过建立视觉特征与声音的相关性，提出了音频-视觉实例分割（AVIS）任务及其标准数据集AVISeg，验证了新方法在音频-视觉分割中的有效性。此外，提出了音视频分割（AVS）问题及基准AVSBench，利用时间像素级交互模块提升分割效果，实验结果显示该方法在音频-视觉表示学习中取得了显著进展。
❓
Q&A
AV-SAM框架的主要功能是什么？
AV-SAM框架能够生成对应于音频的听觉对象掩模，实现音频的定位和分割。
音频-视觉实例分割（AVIS）任务的目的是什么？
AVIS任务旨在同时识别、分割和跟踪可听视频中的单个声音对象实例。
AVSBench基准的作用是什么？
AVSBench基准为音视频分割提供了像素级注释，促进了音频-视觉分割的研究。
AVSAC方法如何增强音频与视觉的交互？
AVSAC方法通过构建双向音频-视觉解码器和二向桥接设计，增强了音频线索与视觉模态之间的交互。
如何通过时间像素级交互模块改善音频-视觉分割？
时间像素级交互模块通过指导视觉分割过程，帮助实现更平衡的音频-视觉表示学习。
CMSF方法在音频-视觉分割中有什么优势？
CMSF方法在复杂场景中能够准确关联音频-掩码对，特别是在重叠前景对象的分割中表现优异。
🏷️
