自Transformer模型出现后，研究者重新关注RNN模型。Yoshua Bengio团队提出minLSTM和minGRU，通过去除隐藏状态依赖，实现并行训练，提高速度和效率。实验显示，这些模型在多项任务中表现优异，尤其在长序列任务中表现突出，显示了RNN的潜力。
近期研究表明，带乘性门控的线性循环网络能自发实现线性自注意力，凸显乘性交互的重要性。多项工作比较了Transformer与LSTM在检索和长程依赖上的差异，并提出IRCoT、CoT块、可逆RNN、R-Transformer等改进方法，以提升推理、视觉表示与记忆效率。
完成下面两步后，将自动完成登录并继续当前操作。
