泰坦：学习在测试时记忆

本研究解决了在长期记忆中有效利用历史上下文的挑战。提出了一种新的神经长期记忆模块，可以在注意力机制中有效结合短期和长期记忆，增强对当前上下文的关注。实验表明，泰坦架构在语言建模、常识推理和时间序列任务中表现优于传统的Transformer及现代线性递归模型，并在更大上下文窗口中实现更高的准确性。