该文汇总多项神经网络研究：AdaNet可同时学习网络结构与权重；通过优化神经元参数和增强多样性提升计算力；系统梳理激活函数及可训练激活函数模型；提出双向完全图YNN模型以减少结构偏差；构建不定向神经网络UNN；改进二值网络训练并在ImageNet上提升准确率；利用张量微积分与拟达尔文机制搜索拓扑；设计分段线性激活函数；并借Barron定理阐释深度网络的表达能力。