DeepMind的新论文表明，大型预训练语言模型在多模式数据集上具有出色的压缩率。算术编码器能够实现出色的压缩效果，同时研究结果与缩放规律相吻合。增加词汇量可以提高较小模型的压缩率，但对于较大的模型来说情况恰恰相反。