对抗净化与微调方法用于鲁棒的 UDC 图像恢复
内容提要
本文综述屏下摄像头（UDC）图像修复研究，涵盖UDC-DMNet退化建模、FFHQ-P/T与CelebA-Test-P/T数据集构建、字典引导Transformer网络DGFormer的盲人脸恢复、P-OLED与T-OLED复原方法、ECCV 2020挑战赛成果，以及将显示器视为散射介质的双分支恢复网络，各方法均达最先进水平。
延伸解读
UDC图像退化的建模与数据集构建
文章指出，UDC图像退化源于显示面板特性，UDC-DMNet通过双阶网络建模成像过程来合成退化图像。基于此，研究者利用FFHQ和CelebA-Test构建了FFHQ-P/T训练集和CelebA-Test-P/T测试集，为盲人脸恢复提供数据基础。这种建模与数据集构建方式，使得后续方法能在统一基准上评估，推动了UDC恢复研究的可复现性。
盲人脸恢复中的字典引导Transformer
DGFormer是一种字典引导Transformer网络，它引入人脸组件字典和UDC图像特征，以应对UDC场景中的盲人脸恢复问题。盲恢复意味着测试时退化类型未知，传统方法难以适应。DGFormer通过字典引导，利用人脸结构先验，在未知退化下仍能恢复清晰人脸。实验表明其达到最先进性能，为UDC人脸恢复提供了新思路。
不同显示技术的恢复方法比较
文章介绍了针对P-OLED和T-OLED的两种神经网络恢复方法，其中P-OLED方法在ECCV 2020挑战赛中获胜，T-OLED方法获得第四名。这表明不同显示技术导致的退化特性存在差异，需要专门设计。此外，基于透明OLED和Pentile OLED的研究也展示了显示技术多样性对恢复算法的影响，提示实际应用中需考虑屏幕类型。
散射介质视角与双分支网络
有研究将显示器视为均匀散射介质，显式建模散射效应并改进图像形成流程。其双分支恢复网络包含散射分支和图像分支：散射分支利用通道自注意力全局估计散射参数，图像分支利用CNN局部优势恢复清晰场景，并由散射分支隐式引导。实验表明该方法在真实和合成数据上均优于现有UDC恢复技术，为UDC恢复提供了物理模型与深度学习结合的方向。
Q&A
UDC图像恢复中，UDC-DMNet和DGFormer分别是什么？
UDC-DMNet是一种双阶网络，用于建模UDC成像过程并合成UDC图像；DGFormer是一种字典引导Transformer网络，引入人脸组件字典和UDC图像特征，用于UDC场景中的盲人脸恢复。两者结合在UDC人脸恢复上取得了最先进的性能。
针对UDC图像恢复，有哪些公开数据集？
有FFHQ-P/T和CelebA-Test-P/T数据集，它们使用UDC-DMNet和来自FFHQ和CelebA-Test的高质量人脸图像创建，分别用于训练和测试UDC人脸恢复。此外还有PexelsUDC大规模数据集，用于视频修复基准研究。
ECCV 2020 UDC图像修复挑战赛的结果如何？
ECCV 2020 RLQ研讨会举办了第一次UDC图像修复挑战，基于新收集的包含两种显示屏类型的数据库。近150个团队注册，每个轨道测试阶段分别有8和9个团队提交结果。该挑战报告的结果是当时UDC修复的最先进表现。
如何将显示器视为散射介质进行UDC图像恢复？
通过将显示器视为均匀散射介质，明确建模散射效应并改进图像形成流程。设计两分支恢复网络：散射分支利用通道自注意力的全局建模能力估计散射效应参数，图像分支利用CNN的局部表示优势恢复清晰场景，由散射分支隐式引导。该方法在真实和合成数据上均优于现有技术。
对抗净化与微调方法如何提升UDC图像恢复的鲁棒性？
通过深度图像恢复网络将离散的对抗噪声样本转换回自然图像流形，提高对抗鲁棒性，同时提升图像质量并保持干净图像上的性能。此外，使用通用对抗扰动对医学深度神经网络进行微调，可提升检测糖尿病视网膜病变的Cohen-kappa值平均3.41，最大31.92。
P-OLED和T-OLED的UDC图像恢复方法有何不同？
文章介绍了两种不同的神经网络方法，分别用于恢复基于P-OLED和T-OLED的UDC拍摄图像。其中P-OLED方法在ECCV 2020挑战中获胜，T-OLED方法获得第四名。
