AutoScale：自动预测训练 LLMs 的计算优化数据组合
内容提要
本文探讨了数据复杂性、模型参数和训练数据量对大型语言模型（LLM）性能的影响。研究表明，增大数据存储规模显著提升模型性能，微调方法的选择与任务相关。提出的CALM方法通过组合不同模型的表示，提升了低资源语言和代码生成任务的表现。此外，研究展示了全二值化大型语言模型的训练方法，提供了新的计算框架和研究资源。
延伸解读
数据复杂性如何影响缩放规律
文章指出，参数和训练数据量的缩放规律对数据复杂性非常敏感。gzip压缩算法能有效预测数据复杂性对性能缩放的影响，并提出了考虑训练数据gzip可压缩性的新缩放规律。当训练数据难以压缩时，数据集大小优先于参数数量的计算最优边界增加。这意味着在实际训练中，若数据复杂性高，应更注重扩大数据集而非模型参数。
微调策略与任务的相关性
研究表明，LLM微调遵循微调数据量与其他缩放因子之间的幂函数乘法联合缩放规律。模型尺寸的扩大比预训练数据尺寸的扩大对微调更有益处，而仅考虑参数缩放的效果通常不明显。同时，最优的微调方法与任务和微调数据相关联。因此，选择微调方法时需结合具体任务和数据量，不能一概而论。
CALM方法：组合模型提升特定能力
CALM通过引入模型之间的交叉关注来组合不同模型的表示，从而赋予基础模型新能力。实验显示，将PaLM2-S与在资源稀缺语言上训练的较小模型结合，可在英语翻译和低资源语言算术推理等任务中带来最高13%的绝对改进；与代码特定模型结合时，在代码生成和解释任务上性能提升40%。这为利用现有模型组合提升特定任务表现提供了实用思路。
全二值化LLM的训练突破
研究提出了全二值化大型语言模型（FBI-LLM），首次展示如何从头开始训练大规模的二值化语言模型，使其在变压器型语言模型中达到全精度对应模型的性能。通过自回归蒸馏损失，在保持等效模型维度和训练数据量的同时，在困惑度和特定任务上取得有竞争力的结果。分析表明，从头训练二值化LLM不需要预训练权重，这鼓励了新的计算框架，并可能促进针对1位LLM的硬件设计。
Q&A
如何通过数据复杂性优化大型语言模型的训练？
通过改变数据复杂性生成不同复杂性的训练数据集，研究发现参数和训练数据量的缩放规律对数据复杂性敏感。
CALM方法在低资源语言任务中的表现如何？
CALM方法通过组合不同模型的表示，提升了低资源语言和代码生成任务的表现，最高可达13%的绝对改进。
增大数据存储对模型性能的影响是什么？
增大用于检索型语言模型的数据存储可以显著提高模型性能，尤其是较小规模的模型在使用大型数据存储时表现更好。
LLM微调方法的缩放规律是什么？
LLM微调遵循微调数据量与其他缩放因子之间的幂函数乘法联合缩放规律，模型尺寸的扩大对微调更有益。
全二值化大型语言模型的训练方法有什么创新？
研究展示了如何从头开始训练大规模的二值化语言模型，取得了与全精度模型相当的性能，且不需要预训练权重。
gzip压缩算法在数据复杂性预测中的作用是什么？
gzip压缩算法能够有效预测数据复杂性对性能的影响，提出了新的与数据相关的神经语言模型缩放规律。
