正凸深层均衡模型
内容提要
深度均衡模型（DEQ）通过求解固定点实现常数内存和简化架构，研究涵盖加速训练、提升稳定性、对抗鲁棒性、多尺度扩展及单调算子理论，并推出TorchDEQ库，在图像分类、语义分割和偏微分方程求解等任务上表现显著。
延伸解读
DEQ 的核心优势与训练加速
深度均衡模型（DEQ）通过求解固定点实现常数内存和简化架构，但训练中反向传播需解昂贵的 Jacobian 方程。文章提到，利用 Broyden 方法估计 Jacobian 可避免直接求解，仅复用该估计就能显著加速训练且不损失性能。这降低了 DEQ 的训练门槛，使其更实用。
稳定性与鲁棒性的改进方案
DEQ 训练稳定性曾是一大挑战。文章介绍了多种改进：正则化方案提高收敛速度和性能，使 DEQ 与传统网络相当；LyaDEQ 利用 Lyapunov 稳定性理论增强对抗扰动鲁棒性；monDEQ 基于单调算子理论保证唯一平衡点和稳定收敛。这些工作从不同角度提升了 DEQ 的可靠性。
多尺度扩展与跨任务应用
多尺度深度均衡模型（MDEQ）能同时求解多个特征维度的平衡点，支持图像分类和语义分割等多任务。在 ImageNet 分类和 Cityscapes 分割任务上已验证有效性。此外，FNO-DEQ 将 DEQ 用于求解稳态偏微分方程，展示了在科学计算领域的潜力。
TorchDEQ 库与生态建设
TorchDEQ 库的推出降低了 DEQ 的使用门槛，支持在多个领域定义、训练和推断 DEQ 模型。通过整合最佳实践，该库在十个数据集上提升了性能、训练稳定性和效率。这对于希望尝试隐式模型的开发者和研究者来说，是一个重要的工具资源。
Q&A
深度均衡模型（DEQ）是什么？它有什么核心优势？
深度均衡模型（DEQ）是一种通过求解固定点来实现的隐式模型，其核心优势是常数内存占用和简化的架构。
DEQ在训练时如何加速并保持性能？
通过使用Broyden's Method的Jacobian估计来避免反向传播中昂贵的Jacobian-based方程求解，仅再次使用此估计就能显著加速训练且不会导致性能退化。
如何提高DEQ模型的学习稳定性？
提出一种正则化方案来加强DEQ模型的学习稳定性，该方案显著提高了收敛速度和性能，使DEQ与传统深度网络在速度和性能上相当，并保持恒定内存和简单架构。
DEQ模型在对抗鲁棒性方面有哪些进展？
提出了LyaDEQ模型，通过Lyapunov稳定性理论确保DEQ稳定性，在面对初始扰动时保持鲁棒性，并在对抗攻击中显著改进对抗防御。此外，使用中间梯度方法进行白盒攻击与评估，提高了对抗攻击的鲁棒性，在CIFAR-10上性能与同等规模DNN竞争力相当。
TorchDEQ库是什么？它有什么作用？
TorchDEQ是一个库，能够在多个领域上定义、训练和推断使用DEQ模型，通过结合最佳实践，显著提高了DEQ模型在十个数据集上的性能、训练稳定性和效率。
多尺度深度均衡模型（MDEQ）适用于哪些任务？
MDEQ适用于大规模高度分层的模式识别领域，可以同时解决多个特征维度的平衡点，并用于多种任务和损失函数，例如使用单个MDEQ同时执行图像分类和语义分割，在ImageNet分类和Cityscapes数据集高分辨率图像的语义分割任务上展示了有效性。
DEQ如何用于求解偏微分方程（PDEs）？
使用绑定权重神经网络架构求解稳态PDEs，证明了FNO-DEQ可以近似解决任何可写为固定点方程的稳态PDE。
单调算子平衡网络（monDEQ）有什么特点？
monDEQ基于单调算子理论，通过带有保证和稳定收敛的高效求解器解决传统内部层数问题，参数化确保所有算子保持单调性，从而保证存在独特的平衡点，并在多尺度卷积等结构化线性算子上实现了多个版本，性能明显优于基于神经ODE的模型且更高效。
