MoM: Linear Sequence Modeling with Mixture-of-Memories

该研究提出了一种基于混合记忆架构（MoM）的线性序列建模方法，解决了记忆状态压缩导致的回忆性能不足问题。通过多个独立记忆状态和路由网络，显著提升了记忆容量，减少了干扰。实验结果表明，MoM在回忆密集型任务中表现优异，超越了现有技术，接近Transformer模型的性能。