通用图像抠图的双重上下文聚合
内容提要
该文综述自然图像抠图研究进展，涵盖上下文感知、AEMatter、HDMatt、AdaMatting、视频抠图及HAttMatting++等方法，利用编码器、注意力机制和深度学习提升前景与alpha遮罩估计，在Adobe等数据集上性能显著优于传统方法。
延伸解读
技术演进：从传统方法到深度学习
文章梳理了图像抠图技术的发展脉络，早期方法依赖颜色采样和手动特征，而近年来深度学习方法通过编码器-解码器、注意力机制等显著提升了性能。例如，AEMatter在Adobe数据集上SAD和MSE分别降低25%和40%，体现了深度学习在复杂场景下的优势。
关键创新：上下文聚合与注意力机制
多项研究聚焦于上下文信息聚合，如双重上下文聚合、轴向学习块和指导上下文关注模块，以扩大感受野并捕捉全局依赖。这些创新使模型能更好地处理前景与背景颜色相似或纹理复杂的图像，提升alpha遮罩估计的准确性。
应用拓展：高分辨率与视频抠图
HDMatt针对高分辨率输入设计，解决了片段间上下文依赖和一致性问题；视频抠图方法则利用时间聚合模块和稀疏关键帧注释，实现时间连贯的抠图。这些进展推动了抠图技术在图像编辑和视频制作中的实际应用。
Q&A
自然图像抠图的主要目标是什么？
自然图像抠图的主要目标是从图像中同时估计前景和alpha遮罩，以分离前景和背景。
AEMatter在抠图方面有哪些创新和性能提升？
AEMatter利用外观增强的轴向学习块扩大感受野，并采用混合变压器编解码器。在Adobe Composition-1K数据集上，其SAD和MSE相较于MatteFormer分别减少了25%和40%。
HDMatt如何处理高分辨率图像抠图？
HDMatt是第一个用于高分辨率输入的基于深度学习的图像抠图方法，采用新的模块设计解决不同片段之间的上下文依赖性和一致性问题，在Adobe图像抠图和AlphaMatting基准上取得了新的最先进性能。
AdaMatting框架是如何工作的？
AdaMatting将传统抠图过程分解为Trimap适应和Alpha估计两个子任务，通过单个深度卷积神经网络分别处理这两个子任务，实现了更好的性能。
视频抠图方法如何实现时间连贯性？
视频抠图方法使用注意力机制的时间聚合模块在特征空间中计算相邻像素沿时间轴的时序相关性，并利用带有稀疏用户注释关键帧的先进视频对象分割网络进行细调，从而生成时间上连贯的高质量alpha抠图。
HAttMatting++网络有什么特点？
HAttMatting++是一种层级与渐进式的注重力抠图网络，能更好地从单个RGB图像预测前景的不透明度，捕捉复杂的前景结构，并实现单个RGB图像作为输入的最佳性能。
