myJourneyToAI: A Deep Learning Journey
内容提要
这篇文章总结了人工智能和深度学习中的重要方法和经验，包括经典的CNN模型LeNet、AlexNet、VGG、NiN、GoogLeNet、ResNet、DenseNet、U-Net、SSD、FPN、Deformable Conv、Transformer、DETR和Diffusion Models等。这些模型在计算机视觉、自然语言处理和生成式模型等领域广泛应用。
延伸解读
从经典CNN到Transformer的演进逻辑
文章梳理的模型序列反映了深度学习架构的演进：早期LeNet使用sigmoid和平均汇聚，AlexNet引入ReLU和Dropout，VGG加深网络，NiN取消全连接层，GoogLeNet用Inception块增加宽度，ResNet通过残差连接解决深层训练问题，DenseNet强化特征重用。这些改进逐步解决了梯度消失、参数效率和特征表达等核心问题，为后续复杂模型奠定基础。
多尺度与残差连接在检测分割中的关键作用
U-Net的编码器-解码器结构结合跳跃连接，在医学图像分割中表现出色；FPN通过特征金字塔融合不同尺度特征，提升目标检测精度；SSD利用多尺度特征图直接预测边界框。文章指出，NiN的1x1卷积和ResNet的残差连接被后续模型广泛采用，而多尺度和残差连接也成为目标检测等任务中的常见设计。
Transformer的通用性与DETR的检测新范式
Transformer编码器由多头自注意力和前馈网络子层组成，每个子层都使用残差连接和层规范化；解码器额外引入编码器-解码器注意力，并通过掩蔽自注意力保持自回归属性。文章提到Transformer在CV、NLP、语音等领域都有实践。DETR将物体检测视为集合预测问题，利用Transformer编码器-解码器架构和集合全局损失，并行输出预测集，因此非常快速高效。
生成式模型与当前技术格局
文章将扩散模型视为VAE、GAN之后的生成式新方向，并指出其具体代码可参考相关教程。同时提到现代大模型目前处于统治地位，但人们也希望有其他方法。对于LLM，文章建议参考Andrej Karpathy的nanoGPT以及GPT2复现。这些内容反映了生成式模型和大模型是当前深度学习领域的重要前沿。
Q&A
深度学习中有哪些经典的CNN模型？
经典的CNN模型包括LeNet、AlexNet、VGG、NiN、GoogLeNet、ResNet、DenseNet、U-Net、SSD、FPN、Deformable Conv、Transformer、DETR和Diffusion Models。
为什么2010年后神经网络算法变得热门？
神经网络算法因大规模数据集和计算能力的提升而变得热门，主要得益于互联网的普及和GPU等廉价计算资源的出现。
AlexNet与LeNet有什么不同？
AlexNet引入了ReLU激活函数和Dropout技术以提高模型性能，而LeNet使用sigmoid激活函数和平均汇聚层。
U-Net模型在什么领域表现出色？
U-Net模型在医学图像分割中表现出色，采用了编码器-解码器结构。
什么是Transformer模型，它的优势是什么？
Transformer模型采用自注意力机制，在多个领域表现出色，具有并行处理的优势，适用于各种任务。
DETR模型如何处理物体检测？
DETR将物体检测视为集合预测问题，通过基于集合的全局损失和变换器架构进行处理，具有高效性。
