本文介绍了多种基于 Transformer 的模型及其改进方法，如 Kformer、Treeformer 和 FastFormers。这些模型通过注入外部知识、优化结构和提高推理效率，在常识推理、医学问答和自然语言理解等任务中表现优异，显著提升了性能和效率。

该文综述Transformer前馈网络（FFN）研究：FFN可视为键值记忆，存储事实知识并影响预测。研究提出知识神经元概念，可定位和编辑特定事实；通过MoEfication将FFN分区为专家，仅用10%–30%参数保持性能；Kformer注入外部知识提升知识密集型任务表现；全ReLU模型在长序列任务中更优；共享FFN可减少参数并提升效率。