小红花·文摘

神经网络通过前向传播、损失计算、反向传播和梯度下降进行训练。每个神经元执行线性打分和非线性激活，多个神经元组成层，层与层之间的非线性使网络能够拟合复杂函数。递归神经网络（RNN）通过引入状态，克服了多层感知器（MLP）在序列任务中的局限性。训练过程是参数在损失曲面上逐步优化的过程。

【Transformer 与注意力机制】08.5 神经网络基础：从 MLP 到 RNN 的最后一块地基

土法炼钢兴趣小组的博客 ·

Cell研究：加速TMS抗抑郁的真正核心是前额叶到岛叶回路

极道 ·

ParaRNN：大规模非线性递归神经网络，可并行训练

Apple Machine Learning Research ·

最近发布了用Rust编写的轻量级自动微分库ferris-grad。该库具有PyTorch风格的自动求导引擎，核心代码不到1000行，且无外部依赖。实现包括标量计算图、张量操作和神经网络层，支持训练多层感知机和mini GPT。项目灵感来源于Karpathy的micrograd和microgpt，欢迎参与贡献。

1000行Rust实现一个类似pytorch的轻量级自动微分库

Rust.cc ·

激活函数在神经网络中引入非线性，使网络能够拟合复杂关系。最早的Sigmoid函数因其可导性被广泛使用，但存在梯度消失问题。Tanh函数有所改进，但仍未解决深层网络训练困难。ReLU函数的出现解决了梯度消失问题，但引入了Dying ReLU现象。后续的激活函数如Leaky ReLU、ELU、GELU和SwiGLU等不断优化，以适应不同任务需求。激活函数的选择直接影响网络的训练效果和性能。

【Transformer 与注意力机制】05. 激活函数：让网络「弯下来」的非线性魔法

土法炼钢兴趣小组的博客 ·

神经网络本质上是一个函数，通过输入输出结果来工作。训练过程是调整参数以使输出接近预期。深度学习利用多层结构和非线性激活函数来拟合复杂关系，能够有效处理高维数据。理解神经网络的关键在于明确输入、输出和参数的关系。

【Transformer 与注意力机制】04. 函数与神经网络：从 y=f(x) 到一台可学习的拟合机器

土法炼钢兴趣小组的博客 ·

DDPM笔记

plus studio ·

从递归神经网络到变换器

Louis Aeilot's Blog ·

递归神经网络（RNN）用于处理序列数据，具备内部状态（记忆），适应多种输入输出结构。RNN通过递归公式更新隐藏状态并生成输出。长短期记忆（LSTM）通过门控机制解决梯度消失问题，增强信息流动。

CS231n 讲义 VII：递归神经网络

Louis Aeilot's Blog ·

【TVM教程】理解 Relax 抽象层

HyperAI超神经 ·

本文讨论了卷积神经网络（CNN）的架构和训练方法，包括归一化层、正则化（如Dropout）、激活函数（如ReLU和GELU）、残差网络（ResNet）和权重初始化（Kaiming初始化）。还介绍了数据预处理、数据增强、迁移学习策略及超参数优化步骤，强调系统调试的重要性，指出大多数失败源于基本设置问题，而非超参数选择。