Transformer 前馈层中关键值记忆更新的实证研究
内容提要
该文综述Transformer前馈网络（FFN）研究：FFN可视为键值记忆，存储事实知识并影响预测。研究提出知识神经元概念，可定位和编辑特定事实；通过MoEfication将FFN分区为专家，仅用10%–30%参数保持性能；Kformer注入外部知识提升知识密集型任务表现；全ReLU模型在长序列任务中更优；共享FFN可减少参数并提升效率。
延伸解读
FFN作为键值记忆的实证支持
文章指出，实验发现Transformer的前馈层（FFN）作为键值内存运作，其键与训练示例中的文本模式相关，每个值在输出词汇表上引入一个分布。残差连接使FFN输出分布集中于每个模式后可能出现的标记。这为理解FFN存储事实知识提供了机制性解释，也支撑了后续知识编辑和模型压缩研究的可行性。
知识编辑与模型压缩的实用进展
基于FFN的键值记忆特性，研究提出了知识神经元概念，可定位和编辑特定事实，并在不降低未修改信息性能的前提下修改模型知识。同时，MoEfication方法将FFN分区为专家，仅用10%–30%参数保持性能，提升推理效率。这些进展表明，FFN不仅是计算组件，也是可操作的知识存储单元，为模型维护和优化提供了新途径。
架构变体的性能权衡
文章综述了多种FFN架构改进：Kformer通过注入外部知识提升知识密集型任务表现；全ReLU模型（ReLUFormer）在长序列任务中更优；共享FFN可减少参数并提升效率，仅轻微准确率下降，通过增加隐藏维度可恢复原始尺寸并取得准确率和延迟的显著提升。这些方案展示了在不同场景下平衡性能与效率的可能性。
Q&A
Transformer的前馈网络（FFN）为什么可以被视为键值记忆？
实验发现，FFN作为键值内存操作，其键与训练示例中的文本模式相关，每个值在输出词汇表上引入一个分布，残差连接使输出分布集中于每个模式后可能出现的标记。
什么是知识神经元？如何利用它编辑模型中的事实知识？
知识神经元是预训练模型中存储事实知识的单元，通过填空测试确定，与对应事实正相关。可以利用知识神经元对特定事实进行编辑，并揭示其存储知识的方式。
MoEfication方法如何提升Transformer前馈层的计算效率？
MoEfication将FFN分区为多个功能专家，并建立专家路由器决定每个输入使用哪个专家。实验表明，仅使用10%–30%的FFN参数即可保持原始性能，同时提高推断FLOPS效率。
Kformer如何注入外部知识？在哪些任务上表现优异？
Kformer通过在Transformer的FFN层中注入来自PTMs和外部知识的信息，利用PTMs存储的知识和内部知识神经元。在常识推理和医学问答等知识密集型任务中，表现优于连接或基于注意力的注入技术。
全ReLU模型（ReLUFormer）相比传统Transformer有哪些优势？
ReLUFormer使用全ReLU结构，研究发现ReLU可以处理大量键值槽，在输入序列很长时表现更出色，在文档翻译等长序列任务中表现更好。
共享FFN架构如何减少Transformer参数并保持性能？
通过删除解码器层的FFN并在编码器中共享单个FFN，大幅减少参数数量，只有轻微准确率下降。通过增加共享FFN的隐藏维度可恢复到原始尺寸，并在准确率和延迟方面取得显著提升。
