低光照下基于加权非局部块的特征去噪实例分割
内容提要
该文综述非局部模块在视觉任务中的应用，涵盖高效实时语义分割（LRNNet）、低光RAW管道实例分割、非局部稀疏CNN去噪、AutoNL移动端架构搜索、MRFNLN图像去雾、L-WaveBlock加速GAN收敛、BMCNN结合先验去噪、轻量级抠图（仅1%参数）及解耦非局部块的计算机制分析。
延伸解读
非局部模块的轻量化趋势
文章综述的多项工作都致力于降低非局部模块的计算成本，以适应移动端或实时任务。例如，LRNNet通过降低计算和内存占用实现高效实时语义分割；AutoNL设计轻量级非局部块并结合神经架构搜索，在移动设定下达到77.7%的准确率；解耦非局部块则从计算机制上分析并简化了非局部操作。这些工作共同表明，非局部模块正从追求性能转向效率与精度的平衡。
低光实例分割的数据与管道创新
针对低光环境下的实例分割，研究不仅改进了网络结构，还强调了数据的重要性。文章提到，高位深RAW图像比sRGB输出保留更丰富的场景信息，因此研究者构建了低光RAW综合管道来生成逼真数据集，并捕获了超过两千对低光/正常光图像的真实数据集。这为低光实例分割提供了新的数据基础，也提示未来研究可关注RAW域处理。
非局部思想在去噪与去雾中的扩展
非局部模块的应用已从语义分割扩展到图像恢复任务。文章列举了基于非局部稀疏性的CNN去噪、非局部图像模型去噪、结合NSS先验的BMCNN去噪，以及多接收域非局部网络去雾等方法。这些工作表明，非局部自相似性先验能与深度学习有效结合，在灰度和彩色图像去噪、去雾等任务中达到先进性能，并利用GPU并行实现高效计算。
Q&A
低光照环境下实例分割面临的主要挑战是什么？
低光照环境下实例分割的主要挑战是特征噪声，这会降低分割准确率。
有哪些方法可以提升低光照下实例分割的准确率？
可以采用自适应加权下采样层、基于平滑向量的卷积块和干扰抑制学习等技术来抑制低光环境下的特征噪声，从而提高实例分割的准确率。
为什么使用RAW图像进行低光实例分割比sRGB图像更好？
高位深RAW图像相比典型的相机sRGB输出可以更好地保留更丰富的场景信息，因此支持使用RAW输入算法进行低光下的实例分割。
低光RAW综合管道的作用是什么？
低光RAW综合管道用于生成逼真的低光数据集，并捕获了一个包含超过两千个配对低/正常光图像的现实低光实例分割数据集，为未来研究打开了新的机会。
AutoNL算法解决了什么问题？
AutoNL算法解决了Non-Local blocks难以嵌入移动神经网络和配置不优等问题。
AutoNL在ImageNet上取得了怎样的性能？
AutoNL仅使用32个GPU小时即在ImageNet数据集的350M FLOPs的移动设定下实现了77.7％的准确率，显著优于MobileNetV2，FBNet和MnasNet等先前的移动模型。
解耦的非局部块是如何设计的？
解耦的非局部块将非局部块的关注计算分为两个项：白化的成对项和一元项，分别代表两个像素之间的关系及每个像素的显著性。
轻量级无裁剪自然图像抠图方法有什么特点？
该方法基于卷积神经网络，通过构建分割网络和抠图精炼网络实现像素分类和细节信息提取，具有可比较的性能但只使用大型模型约1%的参数（344k）。
