反向 - 前向微分
内容提要
该文综述神经网络训练中的内存与梯度计算问题，涵盖自动微分、前向梯度、无雅可比反向传播、可逆网络、隐式模型及超参数优化等方法，旨在降低内存占用、加速训练并保持收敛性能，应用于物理信息网络、深度算子网络和MRI重建等任务。
延伸解读
内存与计算效率的权衡
文章指出，反向传播通常需要存储中间激活值，导致内存占用随网络深度增加。前向梯度方法虽避免存储，但步长难以选择。可逆网络和隐式模型通过不同机制减少内存，但可能增加计算时间或实现复杂度。读者需根据任务需求在内存和计算之间权衡。
方法适用场景分析
不同方法适用于不同场景：可逆网络适合超深网络（如400层MRI重建），隐式模型适合无限层网络，无雅可比反向传播在图像去模糊中显示计算成本优势。物理信息网络和深度算子网络则受益于前向模式自动微分。选择方法时应考虑任务类型和资源限制。
超参数优化的梯度计算
文章比较了超参数优化中计算验证误差梯度的两种模式：反向模式和正向模式。它们镜像递归神经网络的计算方式，在运行时间和空间需求上各有不同。DrMAD方法通过近似反转训练轨迹，首次尝试自动调整数千个超参数，但可能引入近似误差。
收敛性与数值稳定性
文章对随机采样方向导数的收敛速率进行了严格分析，并指出伴随方法结合辛积分器可获取完全梯度（直到舍入误差），且比其他方法更快、更好地抑制舍入误差。这些理论保证为实际部署提供了可靠性基础，但需注意实现细节对数值稳定性的影响。
Q&A
神经网络训练中如何减少内存占用？
可以采用动态规划算法量化点乘非线性函数导数的逼近，显著减少内存占用并保持收敛性能；也可利用可逆网络避免存储中间激活数据，实现恒定内存的迭代逆模型。
前向梯度方法在计算机视觉神经网络中有什么优化方案？
可以使用反馈获得的局部辅助网络来实现前向梯度方法的优化，显著改善标准计算机视觉神经网络中前向梯度方法因步长难以猜测而付出的代价。
无雅可比反向传播（JFB）在图像去模糊中表现如何？
在图像去模糊问题中，JFB在减少计算成本方面与优化方案、最先进的前馈网络以及现有的隐式网络具有可比性。
如何计算迭代学习算法（如随机梯度下降）超参数的验证误差梯度？
有两种方法：反向模式和正向模式，这些程序镜像了递归神经网络计算梯度的两种方法，并具有不同的运行时间和空间要求。
DrMAD在超参数优化中有什么作用？
DrMAD是一种通过优化同时保证模型效果的简单高效的方法，可以在超参数优化中通过近似反转训练轨迹最大化地利用前向传递的知识，是第一个实现自动调整深度神经网络数千个超参数的研究尝试。
训练无限层次的隐式模型有哪些方法？
提出了一种新的梯度估计方法——幻影梯度，该方法通过对精确梯度的计算进行优化，可以加速模型训练，并提高模型性能。
