中科大联合华为诺亚提出Entropy Law，揭秘大模型性能、数据压缩率以及训练损失关系
内容提要
本文介绍了一种基于数据压缩率的数据选择方法，用于训练大语言模型（LLMs）。作者通过研究LLM性能与数据压缩率、训练损失和数据一致性之间的关系，提出了一种名为ZIP的高效数据选择算法。实验结果表明，ZIP算法在提高模型性能和效率方面具有优势。此外，文章还介绍了基于熵定律的实验验证和实际应用，以指导LLM训练数据的增量更新。
延伸解读
数据选择的新视角：从个体质量到组合效应
传统数据选择方法通常独立评估样本质量，但本文指出，高质量样本的组合可能因互信息冗余或不一致而效果不佳。相反，低质量但多样化的样本组合可能传递更多信息。这提醒我们，在构建训练集时，应关注样本间的互补性，而非仅仅追求个体质量。
Entropy Law：性能与压缩率、损失的关系
文章提出Entropy Law，将LLM性能与数据压缩率和训练损失联系起来。理论推导表明，模型性能与数据压缩率负相关，低压缩率数据通常带来更好性能，但伴随更高训练损失。这为理解数据选择提供了量化框架，并可通过压缩率和损失预测模型表现。
ZIP算法：高效选择低压缩率数据
基于Entropy Law，作者提出ZIP算法，通过多阶段贪心选择低压缩率数据子集，以最大化有效信息量。ZIP具有模型无关、内容无感知的特点，可应用于SFT和偏好对齐阶段。实验显示，ZIP在多个LLM上均优于其他数据选择算法，且效率更高。
实际应用：指导增量更新与风险预警
Entropy Law可指导LLM训练数据的增量更新。在真实场景中，通过监控数据压缩率和训练损失的变化，可以预测模型性能的潜在下降。例如，当压缩率和损失异常增加时，可能预示数据一致性下降，导致性能降低。这有助于在训练早期发现风险，节省计算成本。
Q&A
Entropy law是什么，它如何影响大语言模型的性能？
Entropy law将大语言模型的性能与数据压缩率和训练损失联系起来，表明低压缩率的数据通常能提高模型效果。
ZIP算法的主要特点是什么？
ZIP算法是一种高效的数据选择方法，通过多阶段贪心选择低压缩率的数据子集，以最大化有效信息量。
高质量样本是否总能提高大语言模型的学习效率？
并非所有高质量样本都能提高学习效率，样本之间的组合效应也很重要，低压缩率的多样化样本可能更有效。
如何通过Entropy law指导大语言模型的训练数据更新？
Entropy law可以预测随着数据压缩率降低，模型性能会提升，从而指导训练数据的增量更新。
ZIP算法在不同大语言模型中的有效性如何？
实验结果表明，ZIP算法在不同大语言模型和对齐阶段的有效性和效率均优于其他算法。
训练损失与数据一致性之间有什么关系？
较高的训练损失通常意味着数据一致性较低，影响模型学习到的有效知识量。
