量子位
·
小模型站起来了，浏览器里跑出SOTA，抱抱脸：快逃，合成数据不是未来
💡
原文中文，约1800字，阅读约需5分钟。
📝
内容提要
浏览器里能跑的SOTA小模型在2亿、5亿和20亿级别获胜。团队发现合成数据只在特定领域有用，真实数据潜力未完全发挥。团队开源了一个对标的大型合成数据集。使用经过严格过滤的网络数据后，性能直线上升。合成数据还是比不过真实数据。小模型也要在数万亿token上训练。最终发布的系列模型适合各种设备。对齐和微调技术对小模型效果不理想。
🎯
关键要点
- 浏览器里能跑的SOTA小模型在2亿、5亿和20亿级别获胜。
- 合成数据目前只在特定领域有用，真实数据的潜力未完全发挥。
- 团队开源了一个对标的大型合成数据集。
- 使用经过严格过滤的网络数据后，模型性能显著提升。
- 合成数据的效果仍然低于真实数据。
- 小模型也需要在数万亿tokens上进行训练。
- 数据退火技术在训练中被证明有效。
- 最终发布的模型适合各种设备，内存占用较小。
- 过去的对齐和微调技术对小模型效果不理想，需重新设计任务。
➡️
