本研究提出了一种新机制，将线性自注意力与GLU前馈层结合，使变换器在多项式核回归任务中有效进行梯度下降，强调模型规模对二次上下文学习的重要性。

针对大型语言模型的硬件挑战，我们提出了一种新颖的依赖感知半结构稀疏性（DaSS）方法，它将结构依赖性引入基于权重大小的非结构化剪枝，并引入了一个 MLP 特定的剪枝度量来评估每个权重的重要性，同时考虑其大小和对应的 MLP 中间激活规范。我们在 Mistral 和 LLaMA2 模型上的实证评估表明，DaSS 不仅在实现硬件友好的 N:M 稀疏模式方面优于 SparseGPT 和...

本文综述了多种神经网络激活函数：GELU在视觉、语言和语音任务中性能优于ReLU和ELU；GLU变体在Transformer前馈层可超越ReLU和GELU；TeLU能缓解梯度消失与爆炸且表现卓越；此外还涉及非线性激活的硬件高效实现、量化网络激活替换，以及MLP核函数与不动点动力学分析。