RNNs 并非变形金刚（尚未如此）：上下文检索的关键瓶颈
内容提要
近期研究表明，带乘性门控的线性循环网络能自发实现线性自注意力，凸显乘性交互的重要性。多项工作比较了Transformer与LSTM在检索和长程依赖上的差异，并提出IRCoT、CoT块、可逆RNN、R-Transformer等改进方法，以提升推理、视觉表示与记忆效率。
延伸解读
RNN与Transformer的检索能力差异
文章指出，Transformer模型能从首次出现的名词清单中提取词语的身份和排序，而LSTM模型更侧重于先前单词的语义要点及其与列表中其他单词的关系。这表明两者在信息检索机制上存在本质区别：Transformer擅长精确检索，LSTM则倾向于语义概括。这一差异有助于理解为何Transformer在需要精确回忆的任务中表现更优。
改进RNN与Transformer的混合方案
为克服各自局限，研究者提出了多种改进方法。例如，IRCoT通过交替使用检索和思维链提升多步问答性能；可逆RNN降低激活内存成本；R-Transformer结合RNN与多头注意力，无需位置嵌入即可捕捉局部与全局依赖。这些方案表明，融合循环结构与注意力机制是提升模型效率与效果的重要方向。
注意力机制在RNN中的自发涌现
近期研究发现，带有乘性门控的线性循环网络能通过梯度下降自发实现线性自注意力。这意味着某些RNN可能在内部意外地实现了注意力机制，凸显了乘性交互在神经网络中的重要性。这一发现为理解RNN与Transformer的内在联系提供了新视角，也暗示RNN在特定条件下可具备类似注意力的能力。
Q&A
RNN 真的能实现 Transformer 的注意力机制吗？
是的，近期研究发现，带有乘性门控的线性循环网络能够自发实现线性自注意力，这是 Transformer 的核心组件之一。通过逆向工程训练过的 RNN，证实梯度下降会找到这种机制。
Transformer 和 LSTM 在检索单词时有什么不同？
研究表明，Transformer 模型能够从第一次出现的名词清单中提取词语的身份和排序，而 LSTM 模型更侧重于先前单词的语义要点及其与列表中其他单词的关系。
IRCoT 方法是如何提升多步问答性能的？
IRCoT 在多步 QA 过程中交替使用检索和思维链（CoT），并用检索结果改善 CoT。在 HotpotQA 等四个数据集上显著提升了检索和 QA 性能，即使在小模型 T5-Flan-large 上也有效。
可逆 RNN 有什么优势？
可逆 RNN 可以在不存储隐藏激活的情况下实现完全可逆，从而降低激活内存成本，并能扩展到基于注意力的序列到序列模型中，效果显著。
R-Transformer 模型结合了哪些优点？
R-Transformer 结合了 RNN 和多头注意力机制的优点，避免了各自缺点，能够在不使用位置嵌入的情况下有效捕捉序列中的局部结构和全局长期依赖关系，在大多数任务中优于最先进的方法。
Transformer 在水文建模中表现如何？
研究发现，普通 Transformer 结构在水文建模方面的性能不如 LSTM 结构；去除循环结构的变体可以与 LSTM 相媲美，但与当前最先进技术相比性能并不突出。
RNN 如何存储长期依赖信息？
通过分析合成数据集，研究阐明了 RNN 中不同类型信息的存储方法，并解释了指定初始化或转移矩阵约束等方法成功的原因。
什么是 'rethinking with retrieval' (RR) 方法？
RR 是一种后置处理方法，借助思维链（CoT）提示中的分解推理步骤检索相关外部知识，从而改善大语言模型在常识推理、时间推理和表格推理等方面的性能。
