量子位
·
苹果开源7B大模型，训练过程数据集一口气全给了，网友：开放得不像苹果
💡
原文中文，约1900字，阅读约需5分钟。
📝
内容提要
苹果开源了7B大模型，效果与Llama 3 8B相当，计算量仅为Llama 3 8B的1/6。小模型成为新趋势，大大降低了成本。
🎯
关键要点
- 苹果开源了7B大模型，训练过程和数据集全部公开。
- 该模型效果与Llama 3 8B相当，但计算量仅为其1/6。
- 苹果的开源举措被认为比其他公司更为透明和开放。
- Hugging Face技术主管称该模型在多个基准测试中表现优异。
- DCLM-7B在MMLU基准上5-shot准确率达64%，接近Llama 3 8B。
- 小模型成为新趋势，HuggingFace和OpenAI等公司纷纷推出小模型。
- 小模型在能力相近的情况下显著降低了成本。
➡️
