本研究探讨了浅层神经网络中隐性偏差受非线性激活函数影响的情况。结果表明，不同激活函数显著影响隐性偏差，尤其在自适应范畴内，促进了超平面聚类的形成。这为设计更高效的神经网络模型提供了理论依据。

本研究总结了神经网络中非线性激活函数的使用情况，并在MNIST分类任务上进行了实证分析，确定最佳函数。研究还探讨了深度架构和初始化方案对神经网络的影响，提供了一个在MNIST分类任务中获得高准确度的最优神经网络架构。

本文介绍了一种基于深度自编码器的新模型，用于Netflix数据集的评分预测任务。相比之前的模型，该模型具有明显优势，不需要层预训练，采用6层自编码器进行端到端的训练。实验证明，深度自编码器模型的泛化能力更好，负部分的非线性激活函数对于训练深度模型至关重要，需要大量采用正则化技术，如dropout，以防止过拟合。此外，提出了一种基于迭代输出反馈的训练算法，以克服协作过滤的自然稀疏性，该算法加速了训练并改善了模型性能。