DeTurb: 使用可变形三维卷积和三维 Swin Transformer 进行大气湍流抑制
内容提要
本研究提出了一种基于物理启发的转换器模型，旨在处理大气湍流引起的图像失真。通过深度学习方法，开发了深度大气湍流抑制网络（DATUM），显著提高了图像恢复的效率和质量。此外，研究结合动态湍流和静态背景，改善了图像质量和视觉任务的性能。
延伸解读
从DATUM到扩散模型：技术路线的演进
文章梳理了大气湍流抑制领域的技术发展脉络。2022年提出的DATUM网络通过深度学习方法实现长距离时序聚合，并促进像素注册和幸运成像，在效率上取得十倍提升。2023年出现基于变分推断的深度条件扩散模型，2024年则进一步提出粗到细处理框架和统一衰减方法。这些进展显示该领域正从单一网络向多阶段、多先验融合的方向发展。
领域自适应：连接模拟与现实的桥梁
实际大气湍流场景中，有监督的模拟数据训练模型往往面临域偏移问题。文章提到利用领域自适应框架，将有监督的模拟湍流校正与无监督的实际湍流校正相结合，以提高真实场景下的性能。这一思路有助于改善图像质量，并提升下游视觉任务的鲁棒性，是推动技术落地的重要方向。
评估指标：经典数据与任务驱动度量并重
文章指出，研究收集了两个现实世界的湍流数据集，并采用经典数据和一种新的任务驱动度量进行评估。这意味着除了传统的图像质量指标外，研究者开始关注恢复图像在具体视觉任务（如目标检测）中的表现。这种评估方式更能反映技术在实际应用中的价值，也为后续研究提供了更全面的基准。
下游任务受益：目标检测与热适应
大气湍流不仅影响图像观感，还会降低目标检测等视觉任务的准确性。文章提到，利用湍流图像增强技术可以改善热适应和基于深度学习的目标检测模型的准确性和鲁棒性。通过在训练中引入湍流特定的增强方法，模型在湍流图像上的检测性能得到显著提高，这表明湍流抑制技术对实际应用具有直接助益。
Q&A
什么是深度大气湍流抑制网络（DATUM）？
深度大气湍流抑制网络（DATUM）是一种基于深度学习的方法，旨在高效恢复因大气湍流引起的图像失真，显著提高图像恢复的效率和质量。
该研究如何改善图像质量和视觉任务的性能？
研究通过结合动态湍流和静态背景先验，利用湍流图像增强技术，显著改善了图像质量和基于深度学习的目标检测模型的准确性和鲁棒性。
研究中提出了什么样的处理框架来应对长距离大气湍流？
研究提出了一种粗到细的处理框架，通过失真校正逐步减轻长距离湍流的影响，结合动态湍流和静态背景先验。
如何利用变分推断框架解决大气湍流校正问题？
研究提出了一种基于变分推断框架的新型深度条件扩散模型，通过实验验证了其在合成的AT数据集上的良好表现。
该研究使用了哪些数据集进行评估？
研究收集了两个现实世界的湍流数据集，并使用经典数据和新的任务驱动度量进行评估。
研究中提到的领域自适应框架有什么作用？
领域自适应框架将有监督的模拟大气湍流校正与无监督的实际大气湍流校正相结合，从而提高实际场景的性能。
