近期研究表明，带乘性门控的线性循环网络能自发实现线性自注意力，凸显乘性交互的重要性。多项工作比较了Transformer与LSTM在检索和长程依赖上的差异，并提出IRCoT、CoT块、可逆RNN、R-Transformer等改进方法，以提升推理、视觉表示与记忆效率。