利用视频序列深度视觉先验进行大气湍流去除
内容提要
该文综述大气湍流图像复原研究，涵盖物理启发Transformer、深度条件扩散模型、DATUM网络及Deep Video Prior等方法，结合领域自适应、无监督学习与时空非局部平均，提升静态与视频校正性能，改善图像质量与下游视觉任务。
延伸解读
从模拟到真实：领域自适应缩小差距
文章指出，实际大气湍流校正面临模拟数据与真实场景的域差异。通过领域自适应框架，将有监督的模拟校正与无监督的真实校正结合，能提升真实场景下的性能，改善图像质量和下游视觉任务。这提示读者，在缺乏真实配对数据时，领域自适应是可行的技术路径。
视频时间一致性：独立处理的隐患
文章强调，若对视频每帧独立应用图像处理算法，会导致时间不一致。Deep Video Prior（DVP）通过训练卷积神经网络实现时间一致性，并针对多模态不一致提出迭代加权训练策略。在7个计算机视觉任务上的实验表明，该方法优于现有技术，说明时间一致性是视频复原中不可忽视的维度。
物理启发与扩散模型：两条技术路线
文章综述了物理启发Transformer和深度条件扩散模型。前者利用物理启发提取动态湍流失真图并恢复图像，还收集了两个真实湍流数据集；后者在变分推断框架下构建深度条件扩散模型，在合成AT数据集上取得良好定量和定性结果。两者分别从物理先验和生成模型角度推进问题解决。
DATUM网络：效率与性能的平衡
DATUM网络借鉴经典图像修复算法直觉，在深度学习中高效执行长距离时序聚合，同时促进像素注册和幸运成像，并通过额外监督共同减轻倾斜和模糊退化。文章称其显著优于现有方法，并提供十倍处理速度提升。这表明在追求复原质量的同时，计算效率也是实际部署的关键考量。
Q&A
大气湍流去除有哪些主要方法？
文章综述了多种方法，包括物理启发Transformer、深度条件扩散模型、DATUM网络、Deep Video Prior、领域自适应、无监督学习、时空非局部平均等。
DATUM网络在大气湍流抑制中有什么优势？
DATUM网络能高效执行长距离时序聚合，促进像素注册和幸运成像，通过额外监督共同减轻倾斜和模糊退化，显著优于现有方法，并提供十倍处理速度提升。
如何解决视频处理中的时间不一致问题？
可以通过在Deep Video Prior（DVP）视频上训练卷积神经网络实现时间一致性，并针对多模态不一致性问题采用迭代加权训练策略。
深度条件扩散模型如何用于大气湍流校正？
基于变分推断框架下的深度条件扩散模型被提出用于大气湍流校正，在合成AT数据集上实验取得了良好的定量和定性结果。
大气湍流去除中如何处理实际场景与模拟场景的差异？
利用领域自适应框架，将有监督的模拟大气湍流校正与无监督的实际大气湍流校正相结合，从而提高实际场景的性能。
有哪些公开的大气湍流数据集可用于研究？
文章提到收集了两个现实世界的湍流数据集，用于评估大气湍流校正方法。
