该研究提出了一种基于混合记忆架构(MoM)的线性序列建模方法,解决了记忆状态压缩导致的回忆性能不足问题。通过多个独立记忆状态和路由网络,显著提升了记忆容量,减少了干扰。实验结果表明,MoM在回忆密集型任务中表现优异,超越了现有技术,接近Transformer模型的性能。
完成下面两步后,将自动完成登录并继续当前操作。