Louis Aeilot's Blog
·
CS231n 讲义 VI：卷积神经网络架构与训练
内容提要
本文讨论了卷积神经网络（CNN）的架构和训练方法，包括归一化层、正则化（如Dropout）、激活函数（如ReLU和GELU）、残差网络（ResNet）和权重初始化（Kaiming初始化）。还介绍了数据预处理、数据增强、迁移学习策略及超参数优化步骤，强调系统调试的重要性，指出大多数失败源于基本设置问题，而非超参数选择。
关键要点
-
归一化层标准化激活值，并应用学习到的缩放和偏移。
-
正则化方法如Dropout通过随机将部分激活设置为零来防止神经元的共适应。
-
激活函数如ReLU和GELU引入非线性，ReLU收敛快但不以零为中心，GELU平滑但计算成本高。
-
残差网络（ResNet）通过学习残差函数来解决深层网络的退化问题，改善梯度流。
-
权重初始化使用Kaiming初始化来保持激活值的稳定性，避免过小或过大的激活。
-
数据预处理包括图像归一化，数据增强通过翻转、随机裁剪等方法增强训练数据。
-
迁移学习通过使用预训练模型来应对小数据集的问题，替换最后一层并进行微调。
-
超参数优化的步骤包括检查初始损失、在小样本上过拟合、寻找合适的学习率等。
-
大多数失败源于基本设置问题，而非超参数选择，系统调试更为有效。
延伸问答
卷积神经网络中的归一化层有什么作用？
归一化层用于标准化激活值，并应用学习到的缩放和偏移，以提高模型的稳定性和训练效果。
Dropout正则化方法是如何工作的？
Dropout通过在每次前向传播中随机将部分激活设置为零，防止神经元的共适应，从而增强模型的泛化能力。
ResNet是如何解决深层网络退化问题的？
ResNet通过学习残差函数而非直接学习映射，使用快捷连接改善梯度流，从而有效训练更深的网络。
Kaiming初始化在卷积神经网络中有什么重要性？
Kaiming初始化帮助保持激活值的稳定性，避免在深层网络中激活值过小或过大的问题。
数据增强在训练卷积神经网络时有什么好处？
数据增强通过翻转、随机裁剪等方法增加训练数据的多样性，从而提高模型的泛化能力。
迁移学习如何帮助处理小数据集的问题？
迁移学习通过使用预训练模型，替换最后一层并进行微调，能够有效应对小数据集的训练挑战。
