大型语言模型中提出了一种无损加速的早期退出推理方法（EESD），通过在前N层引入早期退出结构，利用部分模型生成初步令牌，并通过自蒸馏提高质量。新机制采用汤普森采样自动调节生成过程，实验显示解码时显著加速。

介绍了dReLU激活函数，用于改善大型语言模型的激活稀疏性和性能。通过稀疏化神经元，实现了2-5倍的解码加速。手机上每秒可实现11个标记的推理速度。