一种对隐式神经表示激活的采样理论视角
内容提要
隐式神经表示（INR）通过神经网络将坐标映射为信号属性，推动信号处理变革。研究重点在激活函数设计：正弦激活的SIREN能处理复杂信号及导数，求解偏微分方程；小波激活因频率与空间定位能力优于正弦函数，可解析高频特征。后续提出变周期激活FINER、INCODE等，灵活调节支持频率，提升图像拟合、3D重建、神经辐射场及逆问题表现，并拓展至时间序列、非欧几里得域和医学成像。
延伸解读
激活函数设计：从正弦到小波与变周期
文章指出，INR的激活函数设计是核心。正弦激活的SIREN能处理复杂信号及导数，但小波激活因同时在频率和空间上定位，更利于解析高频特征。后续FINER引入变周期激活，灵活调节支持频率集，提升了图像拟合、3D重建等任务表现。INCODE则进一步优化正弦基准激活的参数控制。这些进展表明，激活函数的选择直接影响INR的表达能力和适用范围。
理论视角：统一分析与结构化信号词典
文章提到，有研究提出统一理论视角，将INR与结构化信号词典类比，揭示其能用深度线性增长的参数表达指数级频率支持的信号，并可通过元学习重塑NTK来设计架构。这为理解INR为何有效提供了理论支撑，也暗示了通过调整网络结构或学习策略来扩展频率支持的可能性，而不仅仅是依赖激活函数的局部改进。
应用拓展：从图像到非欧域与医学成像
INR的应用已从图像拟合、3D重建、神经辐射场延伸到时间序列、非欧几里得域和医学成像。例如，基于傅里叶变换的损失函数用于时间序列生成，图的谱嵌入用于非欧域学习，医学成像综述则讨论了INR的优势与局限。这些拓展显示INR作为连续信号表示框架的通用性，但不同域的数据特性也带来新的挑战，如非欧域的位置近似和医学数据的复杂性。
Q&A
隐式神经表示（INR）的基本原理是什么？
INR利用多层感知机（MLP）将坐标映射为信号属性，以连续函数参数化数据，从而在信号中表示出离散表示中看不到的耦合空间和频谱特征。
为什么小波激活函数比正弦激活函数更适合隐式神经表示？
小波激活函数能够同时在频率和空间上进行本地化，因此比正弦函数更能解析信号的高频特征。
FINER如何改进隐式神经表示的性能？
FINER通过引入变周期激活函数，并在不同范围内初始化神经网络的偏置，选择变周期函数中具有不同频率的子函数进行激活，从而灵活调节支持频率集，提高信号表示性能。
INCODE方法在哪些任务中表现出色？
INCODE在音频、图像、3D形状重建、神经辐射场（NeRFs）以及逆问题（包括降噪、超分辨率、修复和CT重建）等复杂任务中表现出色。
SIREN网络可以解决哪些类型的方程？
SIREN网络可以解决泊松方程、赫姆霍兹方程、波动方程等各种边界值问题。
隐式神经表示在医学成像领域有哪些应用和挑战？
INR在医学成像领域用于场景重建和计算机图形学，其优势包括连续表示等，但存在局限性，如对高频细节的捕捉和计算效率等挑战，未来研究方向包括改进表示能力和处理医学数据中的特定问题。
