HGRN2：具有状态扩展的门控线性循环神经网络
内容提要
本文提出了一种具有遗忘门的分层门控递归神经网络（HGRN）模型，能够有效建模长期和短期依赖关系。实验结果表明，该模型在语言建模和图像分类任务中表现优异。此外，研究还介绍了多种高效的神经网络架构，如基于门控线性递归的模型和图形回归注意力网络，均在资源受限环境中实现了高效性能。
延伸解读
HGRN2 的核心创新：状态扩展与遗忘门
HGRN2 在 HGRN 的基础上引入了状态扩展机制，通过可学习值下界约束的遗忘门，使模型能够同时建模长期和短期依赖。这种设计让上层网络专注于长期记忆，下层处理局部信息，从而在语言建模和图像分类等任务中提升效率。与传统的门控循环单元相比，HGRN2 在保持线性计算复杂度的同时，增强了状态表达能力，为序列建模提供了新思路。
高效序列建模的多种技术路径
文章还综述了多种高效序列建模方法，如 Hawk、Griffin、GLA 等。Hawk 和 Griffin 在硬件效率上超越了 Mamba 和 Llama-2，支持分布式训练；GLA 通过数据依赖门控实现了与 FlashAttention-2 相当的训练速度。这些工作表明，门控线性递归和注意力机制的融合是提升模型效率的重要方向，尤其适合资源受限的场景。
资源受限环境下的应用与优化
针对 IoT 和加密计算等资源受限环境，FastGRNN 通过低秩、稀疏和量化技术在 KB 级微控制器上实现了语音唤醒词识别。此外，用加法和 ReLU 替换乘法和 Sigmoid 的机制，在 CPU 上减少了一半执行时间，并支持同态加密，保护隐私。这些优化在保持与 GRU/LSTM 相当精度的同时，显著降低了计算成本，为边缘智能提供了可行方案。
Q&A
HGRN模型的主要特点是什么？
HGRN模型具有遗忘门，能够建模长期和短期依赖关系，适用于语言建模和图像分类等任务。
HGRN模型在实验中表现如何？
实验结果表明，HGRN模型在语言建模、图像分类和长距离竞技场测试中表现优异。
FastRNN和FastGRNN算法的优势是什么？
FastRNN和FastGRNN通过添加残差连接和低秩、稀疏、量化技术，在精准度与资源消耗之间取得平衡。
GRAN网络的功能是什么？
GRAN是一种新型图形回归注意力网络，能够生成高质量大规模图形，并捕捉自回归关系。
基于门控状态空间的自回归序列建模方法有什么优势？
该方法能够有效处理长距离依赖关系，训练速度快于传统方法，并具有零样本推广能力。
简化的Gated Recurrent Units架构在语音识别中的表现如何？
简化的Gated Recurrent Units架构提高了训练效率和识别性能，训练时间减少超过30%。
