Sakana AI推出了一种新型记忆系统——神经注意力记忆模型（NAMMs），旨在优化变换器的信息存储与检索。NAMMs通过进化算法选择保留或丢弃重要信息，显著提高了长文本任务的效率与性能。测试结果显示，NAMMs在多个基准上表现优异，减少了内存使用，并超越了传统记忆策略。