大模型架构正处于“后Transformer时代”的创新竞赛，重点在于Transformer的改进和非Transformer的探索。Attention机制和FFN层的优化是研究热点，而新型RNN架构逐渐成为主流。行业对架构创新的看法分为两派，未来主流架构需突破10B、20B和100B规模。

本研究比较了深度学习与集成学习在交通预测中的应用，解决了短期预测模型的长期预测挑战。结果表明，时间嵌入显著提升了RNN的性能，而XGBoost在仅利用时间特征时也表现出色，为未来的长期交通预测研究提供了重要见解。

本研究分析了脉冲神经网络在序列建模中的记忆机制不足，提出了固定不应期脉冲神经网络架构，为生成稀疏脉冲模式提供了新的理论解释，对序列建模具有重要影响。

本研究提出平铺闪存线性注意力（TFLA）算法，旨在解决线性 RNN 在长序列建模中的计算效率和内存消耗问题。TFLA 通过序列并行化显著提升内核性能，实验结果表明其速度优于优化的闪存注意力，为高效长上下文序列建模设立了新标准。

本研究提出SeqSAM方法，解决医学图像分割中仅生成单一预测的问题。该方法通过序列化和RNN启发策略，利用二部匹配损失确保分割掩模的临床相关性，并能生成多个掩模。研究表明，该方法在公开数据集上显著提高了分割质量。

本研究提出了一种新型模型基础的强化学习算法，显著提高了样本效率。在Craftax-classic基准测试中获得67.4%的奖励，超越了DreamerV3和人类表现。该方法结合了CNN和RNN，并通过多项改进提升了模型性能。

本研究解决了低资源语言建模场景中对传统变换器模型的替代方案的需求。通过使用新提出的RNN架构HGRN2，实验结果表明，BABYHGRN在BLiMP、EWoK、GLUE和BEAR基准测试中超越了变换器模型，特别是在资源受限环境中，展示了RNN模型的可行性和潜在影响。

本研究提出了一种新方法SEKE，结合RNN与DeBERTa模型，基于专家混合技术，提升小规模语料的关键词提取能力。实验结果在多个英文数据集上表现优异。

本研究关注商业建筑短期能耗预测中的数据异质性问题，该问题影响智能电网的运营。通过使用具有合成能耗数据的ComStock数据集，我们评估了不同时间序列预测模型在数据集异质性上的表现，发现模型架构与数据集异质性对预测性能的影响大于模型参数数量。同时，经过微调的基础模型在性能上与从头训练的基础模型相当，尽管计算成本更高。

本文探讨了输入数据独立性假设的局限性，提出了一种改进的解多项网络（RPN 2），通过引入数据和结构的依赖函数，显式建模数据间的相互依赖，从而提升学习性能和兼容性，为新架构设计提供了可能性。

本研究探讨了神经网络在形式语言理论中的应用，强调机器作为字符串的二元分类器进行训练。结果显示，RNN和LSTM的性能优于变压器，并发布了FLaRe数据集作为基准。

本研究提出RWKV架构，结合新颖的线性注意机制，兼具Transformer的训练效率与RNN的推理效率，在多个领域展现出优越性能，为深度学习架构的未来发展指明方向。