基于傅里叶增强的隐式神经融合网络用于多光谱与高光谱图像融合
内容提要
本文提出隐式神经特征融合函数（INF）用于高光谱图像融合，解决多光谱与高光谱图像融合问题。通过引入变周期激活函数，提升了信号表示性能。研究还展示了基于特征增强的隐式神经表示方法（FFEINR）和互连融合框架，显著提高了图像重构质量和分类准确性。实验结果表明，这些方法在视觉和定量上均优于现有技术。
延伸解读
变周期激活函数如何提升信号表示
文章指出，当前隐式神经表示（INR）技术在调整支持频率集方面存在局限，难以表示多频率复杂信号。通过引入变周期激活函数，并在不同范围内初始化神经网络偏置，可以选择不同频率的子函数进行激活，从而灵活调节支持频率集，提高信号表示性能。这一机制是FINER方法的核心，在二维图像拟合、三维有向距离场和五维神经辐射场优化中均表现出优于现有INR的能力。
傅里叶增强与隐式神经融合的关联
文章提到，通过引入可学习的空间掩码，将不同频率的傅里叶基函数分配给各个区域，实现傅里叶拼贴，从而准确表示复杂信号。这种方法在图像拟合任务中使PSNR提高3dB以上，3D重建达到98.81的IoU和0.0011的Chamfer距离。这表明傅里叶增强与隐式神经融合网络在提升表示能力方面具有协同作用，为多光谱与高光谱图像融合提供了新思路。
互连融合框架对分类任务的提升
文章介绍了一种新的“互连融合”框架，用于超光谱图像和激光雷达数据的特征融合。该框架从多个视角利用HIS-LiDAR信号的上下文信息和内部特征，从而提高分类准确性。此外，双分支模型结合实值神经网络和复值神经网络，分别处理标准高光谱补丁和傅里叶变换，在Pavia University和Salinas数据集上整体准确性、平均准确性和Kappa值均优于现有方法，其中挤压与激励机制将整体准确性提高了近1%。
Q&A
隐式神经特征融合函数（INF）有什么作用？
INF用于高光谱图像融合，解决多光谱与高光谱图像融合问题。
变周期激活函数如何提升信号表示性能？
变周期激活函数通过灵活调节支持频率集，改善了信号表示性能。
FFEINR方法在流场数据处理上有什么优势？
FFEINR显著提高了流场数据的时空超分辨率处理效果。
互连融合框架的主要功能是什么？
互连融合框架利用多视角的上下文信息提高超光谱图像和激光雷达数据的分类准确性。
实验结果如何证明所提方法的优越性？
实验结果显示，所提方法在视觉和定量上均优于现有技术。
如何实现高分辨率高光谱图像的生成？
通过合并高分辨率多光谱和低分辨率高光谱图像来生成高分辨率高光谱图像。
