几天前,我将个人博客从“jorge.aguilera.soy”迁移到“jorge-aguilera.blog”。由于是静态网站,迁移过程很简单,只需复制文件和更换域名。然而,访问量翻倍,尤其是美国访问者增加。尽管我尝试用英语写更多文章,大部分内容仍是西班牙语。感谢@litlyx提供的工具。
该文综述多种神经网络二阶优化方法,包括K-FAC(高效逆近似逼近Fisher矩阵,适合随机优化)、Jorge(省去矩阵求逆,兼顾二阶收敛与一阶效率)、近端牛顿法、Kronecker对角方差近似、NeuralIF(图神经网络求解线性方程组)、GGT自适应正则化、分块对角高斯-牛顿近似及KrAD矩阵分解等,这些方法在效率或收敛性上优于传统方法。
完成下面两步后,将自动完成登录并继续当前操作。