用于计算优化连续图像表示的潜在调制函数
内容提要
本文介绍了多种隐式图像函数（如LIIF、A-LIIF、DIIF等）在图像超分辨率重建中的应用。这些模型通过不同的编码和解码策略，显著提高了图像质量和计算效率，解决了结构失真等问题，并提出了新的神经表示架构，推动了图像生成和重建技术的发展。
延伸解读
技术演进：从LIIF到动态隐式图像函数
文章梳理了隐式图像函数的发展脉络：LIIF首次通过坐标与深度特征预测RGB值，实现任意分辨率表示；A-LIIF针对边缘结构失真和环状伪影，引入编码器和扩展网络建模多个局部函数的加权组合；DIIF则采用坐标分组和切片策略，显著降低计算成本。这一演进显示研究重点从提升表示能力转向兼顾效率与质量。
跨领域应用：从超分辨率到医学与高光谱成像
隐式神经表示不仅用于图像超分辨率，还扩展到MRI重建和高光谱融合。基于INR的MRI重建方法通过嵌入尺度的编码器和MLP，在公开数据集上实现任意尺度重建且性能更优；INF模型则利用高频细节辅助输入解决多光谱与高光谱融合问题，提升了鲁棒性。这表明INR框架具有较好的通用性。
生成模型中的新方向：局部感知与扩散模型结合
文章提到结合Transformer编码器和局部感知INR解码器的通用框架，验证了局部感知潜变量在图像生成中的有效性。此外，基于预训练自动编码器、隐式扩散模型和隐式神经解码器的方法，在潜空间进行扩散，实现了任意比例图像生成，在图像质量、多样性和尺度一致性上优于相关方法，且推理速度和内存使用更优。
Q&A
LIIF模型的主要功能是什么？
LIIF模型通过输入图像坐标和周围的2D深度特征，预测任意分辨率下的RGB值，解决了结构失真问题。
A-LIIF模型如何提高图像超分辨率重建的精度？
A-LIIF模型通过采用编码器和扩展网络，建模多个局部隐式图像函数的加权组合，从而提高图像超分辨率重建的精度。
DIIF模型在计算成本方面有什么优势？
DIIF模型使用坐标分组和切片策略，显著降低计算成本，并可与超分辨率方法集成。
新的内隐神经表示框架有什么创新之处？
新的内隐神经表示框架结合了transformer编码器和可感知局部性的解码器，显著优于以往的通用INR，并验证了局部感知潜变量在图像生成中的有效性。
隐式神经特征融合函数（INF）模型解决了什么问题？
INF模型有效解决了高光谱融合问题，提高了模型的鲁棒性。
如何通过新方法提高光场图像的超分辨率重建效率？
通过分析光场图像的几何关系并引入虚拟狭缝图像（VSI），使用超采样和EPIXformer几何感知译码器来提高效率。
