小模型站起来了，浏览器里跑出SOTA，抱抱脸：快逃，合成数据不是未来
原文中文，约1800字，阅读约需5分钟。
📝
内容提要
浏览器里能跑的SOTA小模型在2亿、5亿和20亿级别获胜。团队发现合成数据只在特定领域有用，真实数据潜力未完全发挥。团队开源了一个对标的大型合成数据集。使用经过严格过滤的网络数据后，性能直线上升。合成数据还是比不过真实数据。小模型也要在数万亿token上训练。最终发布的系列模型适合各种设备。对齐和微调技术对小模型效果不理想。
🔎
延伸解读
合成数据与真实数据的对比
抱抱脸团队通过实验发现，合成数据目前只在特定领域（如推理和数学）有用，而真实数据的潜力尚未完全发挥。他们使用严格过滤的网络数据后，模型性能显著提升，甚至超过了使用合成数据的模型。这表明，尽管合成数据可以补充真实数据的不足，但在大多数情况下，真实数据仍然是更优的选择。
小模型训练的新认知
传统观点认为小模型不需要大量数据训练，但抱抱脸团队发现，即使是小模型也需要在数万亿token上进行训练，且训练时间越长效果越好。此外，数据退火技术（在训练最后阶段使用高质量数据）被证明有效。这一发现挑战了过去的共识，为小模型的训练提供了新方向。
小模型对齐与微调的挑战
团队指出，过去的对齐和微调技术（如SFT、DPO、PPO）主要针对大模型设计，对小模型效果不理想。原因在于对齐数据集包含许多对小模型过于复杂的概念，且缺乏精心设计的简单任务。因此，需要重新设计适合小模型的对齐和微调方法，这是未来研究的一个重要方向。
❓
Q&A
小模型在浏览器中表现如何？
小模型在2亿、5亿和20亿级别的测试中表现优异，获得了胜利。
合成数据在模型训练中的作用是什么？
合成数据目前只在特定领域有用，整体效果仍低于真实数据。
团队是如何提升模型性能的？
通过严格过滤网络数据并在此基础上进行训练，模型性能显著提升。
小模型需要多少数据进行训练？
即使是小模型也需要在数万亿tokens上进行训练，时间越长效果越好。
数据退火技术在训练中有什么效果？
数据退火技术被证明有效，可以在训练最后阶段保留高质量数据。
过去的对齐和微调技术对小模型的效果如何？
这些技术对小模型效果不理想，需要重新设计任务。
🏷️
