K2 Horizon刚刚发布,包含六款全新全开源模型——开发者们并未完全信服

K2 Horizon刚刚发布,包含六款全新全开源模型——开发者们并未完全信服

💡 原文英文,约1400词,阅读约需5分钟。
📝

内容提要

阿布扎比IFM推出K2 Horizon,包含六款开源AI模型,参数从9亿到3750亿,号称最大全开源模型群。其承诺公开训练数据、代码和检查点,但发布时部分模型仅提供权重,训练细节如计算量未披露,引发对可复现性的质疑。模型适用于不同场景,采用Apache 2.0许可。

🔎

延伸解读

“全开源”与“开放权重”的差距

IFM宣称K2 Horizon是“最大全开源模型群”,但发布时各模型开放程度不一:3.7B和7B模型提供了完整工件,而0.9B、32B、36B-A4B和375B-A23B仅先提供权重,训练数据、代码和中间检查点承诺后续更新。32B甚至只是Stage 1检查点。这种“部分开放”与“完全开放”之间的落差,可能影响开发者对模型可复现性的信任。

计算量未披露:可复现性的关键缺口

尽管IFM强调透明,但未披露任何计算量信息,如加速器数量、训练时长或成本。分析人士指出,这是其“可检查性”主张的明显漏洞。对于希望复现训练过程的开发者,缺少这些细节会阻碍端到端的验证。IFM承诺的细粒度训练日志或许能填补这一空白,但需等待后续发布。

合成数据与训练细节的挑战

文章指出,即使公开合成数据集,若缺少生成提示词、种子代码或过滤启发式方法,开发者仍难以完全复现。此外,硬件拓扑、分布式通信配置和优化器状态记录等执行细节也未提供。这些因素可能让开发者对模型的构建过程存疑,影响其在实际应用中的信心。

开源讨论转向中国实验室

围绕K2 Horizon的讨论迅速转向中国实验室的开源实践。有用户反驳“中国模型不再发布预训练权重”的说法,指出Qwen、GLM、Kimi、DeepSeek等仍发布基础权重。但评论者也承认,中国模型通常不公开训练语料,训练过程仍是黑箱。这凸显了全球开源社区对训练数据透明度的普遍关注。

Q&A

K2 Horizon是什么?

K2 Horizon是阿布扎比基础模型研究所(IFM)发布的一组开源AI基础模型,包含六个模型,参数规模从0.9亿到3750亿不等,号称是“最大的全开源AI模型群”。

K2 Horizon的“全开源”具体指什么?

IFM承诺公开训练和评估代码、可再分发的训练数据或详细的构建配方、配置、日志以及从预训练到智能体后训练的中间检查点,而不仅仅是模型权重。

K2 Horizon各模型分别适用于哪些场景?

0.9B模型适用于智能手表和智能眼镜等受限环境;3.7B和7B模型适用于手机等端侧设备;32B和36B-A4B模型适用于本地托管和本地服务器;375B-A23B模型适用于要求较高的企业部署。

K2 Horizon发布时存在哪些不完整之处?

发布时,0.9B、32B和375B模型的部分训练数据、代码或检查点尚未提供;32B模型仅发布了阶段1的检查点,最终模型尚未发布;此外,训练计算量(如加速器数量、时长、成本)未披露。

开发者对K2 Horizon的质疑主要集中在哪些方面?

开发者质疑其可复现性,因为训练计算量未披露,合成数据的生成提示、种子代码和过滤启发式可能未完全公开,导致端到端复现困难甚至不可能。

K2 Horizon的许可协议是什么?

K2 Horizon的模型和代码采用Apache 2.0许可证发布。

K2 Horizon的API可以通过哪些合作伙伴使用?

K2 Horizon的API可通过IFM的推理合作伙伴使用,包括Compass、Cerebras和Nebius。

🏷️

标签

➡️

继续阅读