本研究提出了一种新方法——门控增量规则，旨在提升线性变换器在检索和长文本任务中的表现。Gated DeltaNet架构在多个基准测试中超越了现有模型，展现出更高的训练效率和任务表现。

本研究分析了线性变换器在随机线性分类任务中的表现，特别是梯度下降的隐式正则化。研究发现，良好泛化需要适当的预训练任务和上下文示例数量，即使在标签翻转噪声下，变换器也能在干净测试中实现接近最佳的泛化效果。