神经网络通过前向传播、损失计算、反向传播和梯度下降进行训练。每个神经元执行线性打分和非线性激活，多个神经元组成层，层与层之间的非线性使网络能够拟合复杂函数。递归神经网络（RNN）通过引入状态，克服了多层感知器（MLP）在序列任务中的局限性。训练过程是参数在损失曲面上逐步优化的过程。

本文探讨了RNN（循环神经网络）与Transformer架构的演变。RNN面临长程依赖、梯度稳定和训练并行的三难问题，LSTM部分解决了梯度问题，但仍无法并行训练。2017年，Transformer通过完全依赖注意力机制解决了这三难，成为主流架构。尽管Transformer在长程依赖和并行性上表现优异，但其复杂度和内存消耗仍是局限。未来可能会出现结合循环结构的新模型，如Mamba和RWKV，以应对Transformer的不足。

本文探讨了循环神经网络（RNN）在处理变长序列中的应用及其局限性。RNN通过权重共享和记忆机制处理序列数据，但存在长程依赖、梯度消失和训练并行性等问题。LSTM和GRU作为RNN的变体，通过门控机制改善了这些问题。尽管RNN在早期自然语言处理和机器翻译中发挥了重要作用，但随着Transformer的出现，其应用逐渐减少。

本文讨论了学习Transformer时的常见误区，如过早追逐新论文、忽视RNN和误解注意力机制。强调基础知识的重要性，建议系统学习以更好地理解和应用Transformer架构。

大模型架构正处于“后Transformer时代”的创新竞赛，重点在于Transformer的改进和非Transformer的探索。Attention机制和FFN层的优化是研究热点，而新型RNN架构逐渐成为主流。行业对架构创新的看法分为两派，未来主流架构需突破10B、20B和100B规模。

本研究比较了深度学习与集成学习在交通预测中的应用，解决了短期预测模型的长期预测挑战。结果表明，时间嵌入显著提升了RNN的性能，而XGBoost在仅利用时间特征时也表现出色，为未来的长期交通预测研究提供了重要见解。

本研究分析了脉冲神经网络在序列建模中的记忆机制不足，提出了固定不应期脉冲神经网络架构，为生成稀疏脉冲模式提供了新的理论解释，对序列建模具有重要影响。

本研究提出平铺闪存线性注意力（TFLA）算法，旨在解决线性 RNN 在长序列建模中的计算效率和内存消耗问题。TFLA 通过序列并行化显著提升内核性能，实验结果表明其速度优于优化的闪存注意力，为高效长上下文序列建模设立了新标准。

本研究提出SeqSAM方法，解决医学图像分割中仅生成单一预测的问题。该方法通过序列化和RNN启发策略，利用二部匹配损失确保分割掩模的临床相关性，并能生成多个掩模。研究表明，该方法在公开数据集上显著提高了分割质量。

本研究提出了一种新型模型基础的强化学习算法，显著提高了样本效率。在Craftax-classic基准测试中获得67.4%的奖励，超越了DreamerV3和人类表现。该方法结合了CNN和RNN，并通过多项改进提升了模型性能。

本研究解决了低资源语言建模场景中对传统变换器模型的替代方案的需求。通过使用新提出的RNN架构HGRN2，实验结果表明，BABYHGRN在BLiMP、EWoK、GLUE和BEAR基准测试中超越了变换器模型，特别是在资源受限环境中，展示了RNN模型的可行性和潜在影响。

本研究提出了一种名为SEKE的关键词提取新方法，结合RNN与DeBERTa模型，基于专家混合技术，提升了小规模语料的关键词提取能力和可解释性。实验结果表明，该方法在多个英文数据集上表现优异。