从参数对称性到有效学习率
📝
内容提要
近来，越来越多的论文或者博客，开始基于参数的对称性来分析和指导模型的优化，比如Hyperball、HyperTransfer、ELR等，它们总体都是围绕着$\ell(\boldsymbol{w}...
➡️
