该文汇总多项深度学习理论研究：证明生成模型反向网络和前向神经网络均为正确推理方法；发现深度ReLU网络偏向低频函数，谱偏差影响收敛；提出彩虹网络、双重MLP信号表示等方法；研究对抗样本、多面体训练及高层单元近似随机线性组合等特性。