无须Alpha标签的抠图模型训练
内容提要
本文综述了基于深度学习的图像抠图技术的最新进展，介绍了多种算法和框架，如AdaMatting和WSSHM，强调了在复杂前景和背景情况下的性能提升。研究提出了新的训练方法和数据集，以提高抠图模型的鲁棒性和准确性。
延伸解读
从Trimap依赖到自动抠图的演进
文章梳理的多个方法显示，早期抠图常需用户提供Trimap等辅助输入，而AdaMatting将Trimap适应与Alpha估计统一到单个网络，后续基于注意力机制的自动抠图网络则尝试无需Trimap直接从自然图像估计软前景。这一趋势降低了交互成本，但自动方法在复杂边缘上的可靠性仍依赖训练数据与模型设计。
弱半监督如何降低人像抠图标注成本
WSSHM方法针对精细像素级标注昂贵的问题，提出利用少量抠图标签和大量分割标签进行训练，并通过抠图标签融合（MLB）选择性引导知识。文章指出该方法能提升模型鲁棒性，且适用于实时模型，在V100 GPU上达到328 FPS。这为标注预算有限时提供了一种折中思路，但分割标签与抠图标签的质量差异仍需关注。
真实数据与合成数据的差距及应对
文章提到，合成训练图像的不自然性会带来领域泛化挑战，而MFC-Net通过引入图像协调方法填补合成与真实图像之间的差距，并建立了最大的通用抠图数据集Real-19k。这表明，除了网络结构，数据构建与域适应也是提升真实场景抠图效果的关键。不过，Real-19k的具体构成和覆盖范围未在文中展开。
Q&A
什么是AdaMatting框架，它的主要功能是什么？
AdaMatting框架将抠图过程分解为Trimap适应和Alpha估计两个子任务，通过单个深度卷积神经网络处理，性能优越。
如何提高图像抠图模型的鲁棒性和准确性？
通过多级上下文组装和强数据增强的方法，可以提高图像抠图模型的稳健性和泛化能力。
什么是弱半监督人像抠图（WSSHM）方法？
WSSHM方法利用少量昂贵的抠图标签和大量分割标签，降低标注成本并解决领域泛化问题。
smart scribbles框架的工作原理是什么？
smart scribbles框架允许用户在图像上绘制少量的scribbles，从而生成高质量的alpha mattes，具有更好的普适性。
MFC-Net网络的主要特点是什么？
MFC-Net网络整合多个特征以获得准确的alpha遮罩，并建立了最大的通用抠图数据集（Real-19k），在真实世界数据集上表现优异。
自我监督的预训练方法如何提高抠图性能？
自我监督的预训练方法用于图像抠图任务的初始化，显著提高了抠图性能，优于现有方法。
