本文介绍了MemoryLLM，一种提高变换器中前馈网络可解释性的模型。MemoryLLM将前馈网络与自注意力解耦，允许将前馈网络视为无上下文的记忆检索机制。通过直接使用令牌嵌入训练前馈网络，MemoryLLM实现了高效的推理和存储转移。此外，Flex-MemoryLLM架构在传统变换器设计与MemoryLLM之间架起了桥梁，提升了性能。