本文介绍了一种基于数据压缩率的数据选择方法，用于训练大语言模型（LLMs）。作者通过研究LLM性能与数据压缩率、训练损失和数据一致性之间的关系，提出了一种名为ZIP的高效数据选择算法。实验结果表明，ZIP算法在提高模型性能和效率方面具有优势。此外，文章还介绍了基于熵定律的实验验证和实际应用，以指导LLM训练数据的增量更新。