为什么我们偏爱各向同性?基于最速下降的理解

📝

内容提要

从机器学习时代的数据白化预处理,到深度学习时代的BatchNorm、InstanceNorm、LayerNorm、RMSNorm等花样百出的Normalization方法,本质上都体现了我们对“...