何恺明与LeCun提出的DyT（动态Tanh）模块可替代Transformer中的归一化层，性能相当且加速，已开源。DyT模块仅需9行代码，适用于多种模型，实验表明其在效率和效果上优于传统归一化方法。

本研究提出动态双曲正切（DyT）作为变换器中归一化层的替代，证明无归一化的变换器仍可实现相同或更优的性能，挑战了传统归一化层的地位。

本文研究了生成敌对网络与学习压缩相结合的方法，得到了一种先进的生成有损压缩系统。通过在归一化层、生成器和鉴别器架构、训练策略以及感知损失方面的探究，实现了在广泛的比特率范围内视觉上令人满意的重建。研究结果表明，即使使用超过2倍的比特率，该方法仍优于以前的方法。

本文介绍了一种名为norm tweaking的技术，可作为当前PTQ方法的插件使用，以实现高精度且成本效益的模型压缩。通过更新归一化层的权重，该方法在权重量化和权重与激活联合量化方面取得了显著的改进，在2位量化情况下甚至达到与浮点数模型相同的精度水平。该方法简单有效，适用于实际应用。