超出光流的多图像超分辨率的深度 3D 世界模型
内容提要
本文综述基于深度学习的单图像超分辨率方法，涵盖退化建模、图像对、域转换和自学习四类，比较重建质量与计算效率，并介绍多帧超分辨率、真实场景数据集、任意比例重建及水下图像增强等进展，讨论挑战与未来方向。
延伸解读
方法分类与评估框架
文章将基于深度学习的单图像超分辨率方法分为四类：基于退化建模、基于图像对、基于域转换和基于自学习。这种分类有助于理解不同方法的核心思想。评估时，文章在公共数据集上比较了重建质量和计算效率，并讨论了遥感图像超分辨率的挑战和未来方向。
真实场景与多帧超分辨率进展
针对真实场景，文章介绍了RealSR数据集，通过实际拍摄的低分辨率-高分辨率图像对训练模型，提升了视觉效果和相机适应性。多帧超分辨率方面，HighRes-net首次端到端学习配准、融合和上采样，并应用于卫星图像；BurstSR数据集和基于光流对齐的方法也展示了在真实数据上的有效性。
任意比例重建与效率优化
传统超分辨率网络只能放大固定比例，而MoEISR利用隐式神经函数和混合专家架构，实现了任意比例重建，同时通过动态分配解码专家，在保持或提升PSNR的情况下减少高达73%的浮点运算。这为实际部署中的计算效率问题提供了解决方案。
水下图像增强与无监督学习
水下图像超分辨率面临独特挑战，文章介绍了基于深度残差网络和对抗训练的生成模型，并发布了USR-248数据集，支持2x、4x、8x放大。此外，SDFlow将超分辨率转化为无监督学习，在潜在空间匹配分布，能生成多样且逼真的图像，为缺乏配对数据的情况提供了新思路。
Q&A
基于深度学习的单图像超分辨率方法主要分为哪几类？
主要分为四类：基于退化建模、基于图像对、基于域转换和基于自学习。
RealSR数据集是如何构建的？它有什么作用？
RealSR数据集通过使用实际拍摄的低分辨率-高分辨率（LR-HR）图像对构建。使用该数据集训练的SISR模型在真实场景中能提供更好的视觉效果，且模型能适应不同的相机设备。
MoEISR框架有什么特点和优势？
MoEISR是一种混合专家隐式超分辨率框架，能够以任意比例进行超分辨率重建，同时显著提高计算效率。它利用轻量级映射器模块动态分配最适合的解码专家给每个像素，使不同容量的专家重建复杂度各异的区域像素。实验证明，MoEISR能在缩减高达73%的浮点运算（FLOPs）的同时，提供相当或更优的峰值信噪比（PSNR）。
SDFlow模型是如何实现图像超分辨率的？
SDFlow将单幅图像超分辨率问题转化为无监督学习，通过在潜在空间中匹配低分辨率（LR）和高分辨率（HR）图像的内容信息分布，实现图像降尺度和超分辨率的自动学习。实验结果表明，SDFlow能生成多样且逼真的LR和SR图像。
HighRes-net在多帧超分辨率中有什么创新？
HighRes-net首次使用端到端的方式学习低分辨率图像的配准、融合和上采样等任务，并通过准确的配准和ShiftNet算法实现了真实卫星图像的超分辨率处理，促进了地球观测数据的应用。
水下图像超分辨率有哪些进展？
提出了一种基于深度残差网络的生成模型，用于自主水下机器人对水下图像的单张图像超分辨率处理，并提供了一个基于对抗训练的SISR学习流程。通过评估图像的全局内容、颜色和本地风格信息，制定了目标函数来监督训练。此外，提出了USR-248数据集，包含三种不同尺寸的水下图像，可用于监督2x、4x或8x SISR模型的训练。实验表明，该模型性能良好，可用于嘈杂视觉条件下的场景理解和注意力建模等应用。
