大语言模型监督微调中的熵分布匹配：减少过拟合并提高多样性
内容提要
本文介绍了一种新的数学推理多视角微调方法，旨在提升小型语言模型的性能，灵活适应不同注释格式，并在多个数据集上实现良好的泛化能力。研究表明，预训练损失是模型性能的有效指标，数据量与模型性能呈对数线性关系。此外，提出的自我蒸馏微调方法在多个基准测试中表现优异，展示了大型语言模型在数学优化问题上的潜力。
延伸解读
预训练损失作为性能指标
文章指出预训练损失是模型性能的更好指标，且数据量与模型性能呈对数线性关系。这意味着在微调时，监控预训练损失可能比单纯关注下游任务准确率更能预测模型潜力。同时，增加数据量能稳定提升性能，但收益会逐渐放缓，因此需权衡数据收集成本与性能提升。
自我蒸馏微调的优势
自我蒸馏微调（SDFT）通过引入模型自身生成的蒸馏数据集，填补任务数据集与大型语言模型之间的分布差距。这种方法在多个基准测试中减轻了灾难性遗忘，并在下游任务上达到或超越传统微调。对于需要在特定任务上微调同时保持通用能力的场景，SDFT提供了一种平衡方案。
LoRA与全精调的权衡
比较LoRA和全精调发现，LoRA在大多数情况下表现逊于全精调，但具有更强的正则化效果，能更好地保持基础模型在目标领域外的任务表现，并生成更多样化的结果。全精调学到的扰动秩比典型LoRA配置高10-100倍，这可能解释性能差距。选择时需根据任务对泛化性和多样性的需求决定。
自我改进指导调整的潜力
自我改进指导调整方法通过大型语言模型提供示范，将推理能力传输到较小语言模型，并使其自我改进。在常识与数学推理任务上，该方法在领域内外均显著优于传统指导调整，使较小模型与较大模型的推理能力逐渐趋于一致。这为资源有限时提升小模型能力提供了可行路径。
Q&A
什么是数学推理多视角微调方法？
数学推理多视角微调方法是一种提高小型语言模型性能的技术，能够灵活适应不同注释格式，并在多个数据集上实现良好的泛化能力。
预训练损失如何影响模型性能？
研究表明，预训练损失是模型性能的有效指标，且数据量与模型性能呈对数线性关系。
自我蒸馏微调方法的优势是什么？
自我蒸馏微调方法在多个基准测试中表现优异，能够减轻灾难性遗忘并提升下游任务性能。
GPT-4在自然语言处理中的表现如何？
在零射和单射设置下，GPT-4在处理自然语言问题描述时表现卓越，超越了GPT-3.5和Llama-2-7b。
Low-Rank Adaptation (LoRA)与全精调的比较结果是什么？
LoRA在正则化方面表现优于全精调，但在大多数情况下，其性能明显逊于全精调。
如何通过大型语言模型提升小型语言模型的推理能力？
通过自我改进指导调整方法，可以将大型语言模型的推理能力传输到小型语言模型，并优化其自我改进能力。
