What I cannot create, I do not understand-读《深度学习入门》
内容提要
本文介绍了感知机、神经网络、误差反向传播法和SGD的优化方法。感知机通过权重和阈值实现与门、与非门和或门，但无法表示异或门。神经网络通过自动生成权重值实现与门，引入了激活函数、训练数据和损失函数等概念。误差反向传播法通过链式法则和反向传播计算梯度，提高了求解梯度的效率。SGD的优化方法包括Momentum、AdaGard和Adam。作者总结了卷积神经网络和强化学习等内容，并强调了学习算法的重要性。
延伸解读
从感知机到神经网络：自动学习权重的意义
感知机需要手动设置权重和阈值来实现逻辑门，但无法表示异或门。神经网络的核心突破在于能自动从数据中生成权重，这通过引入激活函数、损失函数和梯度下降等机制实现。这种自动化让模型能处理更复杂的问题，也减少了对人工特征工程的依赖。
损失函数与激活函数：为何不直接优化精度
在神经网络学习中，损失函数（如均方误差、交叉熵误差）作为优化指标，而非直接使用识别精度。这是因为精度对权重微调不敏感，导数常为零，导致无法更新参数。激活函数（如Sigmoid）的平滑性也出于类似考虑，确保微调能影响输出，从而让梯度下降有效工作。
梯度下降的局限与优化算法的演进
随机梯度下降（SGD）沿当前梯度方向更新权重，但容易陷入局部极小或呈“之”字形移动，且无法保证找到全局最小值。为此，Momentum引入速度概念，AdaGrad调整学习率，Adam结合两者。这些优化方法各有适用场景，实际中需根据问题特点选择。
误差反向传播法：高效计算梯度的关键
数值微分计算梯度简单但耗时，误差反向传播法利用链式法则，从输出层反向传播误差，高效计算各权重梯度。它需要记录前向传播中的中间值，但大幅提升了训练速度，成为神经网络学习的核心算法。
Q&A
感知机的基本原理是什么？
感知机通过权重和阈值实现逻辑运算，如与门、与非门和或门，但无法表示异或门。
神经网络与感知机有什么区别？
神经网络的核心目标是自动生成权重值，而感知机需要手动配置权重。
什么是损失函数，它的作用是什么？
损失函数用于衡量神经网络学习中的指标，常用均方误差和交叉熵误差。
随机梯度下降法(SGD)的主要特点是什么？
SGD用于逐步降低损失函数的值，但无法保证找到全局最小值。
误差反向传播法是如何提高计算效率的？
误差反向传播法通过链式法则高效计算梯度，提升了求解效率。
SGD的优化方法有哪些？
SGD的优化方法包括Momentum、AdaGard和Adam，各有特点和适用场景。
