BriefGPT - AI 论文速递
·
QN-Mixer：一种用于稀疏视 CT 重建的拟牛顿 MLP-Mixer 模型
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
该研究提出了一种算法，结合了随机梯度下降和拟牛顿法，通过维护和操作每个贡献函数的独立 Hessian 近似值实现不同方法的统一。该算法适用于高维度优化问题，通过存储和操作在一个共享的、时变的、低维度子空间中的二次近似值，保持了计算可行性和限制了内存需求。算法已发布为开源软件包。
🎯
关键要点
-
该研究提出了一种结合随机梯度下降和拟牛顿法的算法。
-
算法通过维护和操作每个贡献函数的独立 Hessian 近似值实现不同方法的统一。
-
该算法适用于高维度优化问题，保持计算可行性并限制内存需求。
-
算法在一个共享的、时变的、低维度子空间中存储和操作二次近似值。
-
该算法需要很少或不需要调整超参数。
-
与早期的随机二阶技术不同，该算法不将每个贡献函数的 Hessian 视为完整 Hessian 的噪声近似。
-
在七个不同的优化问题上进行了实验，显示出改进的收敛表现。
-
算法已发布为开源 Python 和 MATLAB 软件包。
🏷️
标签
➡️
