量子位
·
挑战强化学习后训练霸权！全新无监督方法仅需1条数据+10步优化
内容提要
Ubiquant团队提出了一种新方法——熵最小化（EM），仅需一条无标签数据和10步训练，显著提升大语言模型（LLM）性能，超越传统强化学习（RL）方法。EM通过优化模型预测的熵，增强模型自信，适用于数据稀缺场景，降低后训练成本。研究表明，EM在数学推理任务中表现优异，具有广泛应用前景。
关键要点
-
Ubiquant团队提出了一种新方法——熵最小化（EM），仅需一条无标签数据和10步训练，显著提升大语言模型（LLM）性能。
-
EM方法通过优化模型预测的熵，增强模型自信，适用于数据稀缺场景，降低后训练成本。
-
当前大语言模型的后训练主流方法是强化学习（RL），但其高昂的数据标注成本和复杂的奖励设计限制了应用。
-
EM方法无需标注数据或外部监督，依赖模型自身预测分布的熵进行优化。
-
EM训练模型将概率质量集中在自信的输出上，降低模型生成序列的熵。
-
熵最小化的成功依赖于示例的选择，研究者通过方差筛选不稳定的示例进行训练。
-
实验结果显示，EM方法在多个数学推理任务上显著提高了模型性能，甚至超过了使用大量数据的RL方法。
-
EM与RL在模型置信度的影响方向截然相反，EM增强模型自信，而RL则可能导致模型置信度下降。
-
EM训练可能导致模型“过度自信”，在训练初期性能提升后，持续训练可能反而损害性能。
-
EM适合尚未进行大量RL调优的基础模型，尤其在数据稀缺或资源有限的场景中表现优异。
-
One-shot EM为LLM后训练提供了一种无监督的替代方案，降低了后训练的门槛和成本。
-
未来研究需关注EM的训练稳定性、泛化能力及与现有技术的融合，探索更强大的混合方法。
延伸问答
熵最小化（EM）方法的核心理念是什么？
熵最小化（EM）方法的核心理念是通过优化模型自身预测分布的熵，增强模型的自信，无需任何标注数据或外部监督。
EM方法与传统的强化学习（RL）方法相比有什么优势？
EM方法相比于传统的强化学习（RL）方法，具有更低的数据需求和训练成本，且能在数据稀缺场景中显著提升模型性能。
熵最小化方法在数学推理任务中的表现如何？
实验结果显示，熵最小化方法在多个数学推理任务上显著提高了模型性能，准确率提升可达25.8个百分点，甚至超过了使用大量数据的RL方法。
EM方法的训练过程需要多少步？
EM方法的训练过程仅需10步即可显著提升大语言模型的性能。
熵最小化方法适合哪些场景？
熵最小化方法适合尚未进行大量RL调优的基础模型、数据稀缺或资源有限的场景，能够快速部署且无需标注数据。
EM方法可能带来哪些风险？
EM方法可能导致模型“过度自信”，在训练初期性能提升后，持续训练可能反而损害模型的实际推理性能。
