量子位
·
杨植麟被梁文锋叫醒了！Kimi新模型发布即开源，1T参数全线SOTA
💡
原文中文，约3500字，阅读约需9分钟。
📝
内容提要
Kimi发布了全新开源大模型K2，参数达到1T，激活参数32B，特别擅长代码和数学推理任务。K2采用MoE架构，支持128K上下文，旨在展示技术领先性。此次开源遵循修改版MIT协议，Kimi仍将继续自研大模型。
🎯
关键要点
- Kimi发布了全新开源大模型K2，参数达到1T，激活参数32B，特别擅长代码和数学推理任务。
- K2采用MoE架构，支持128K上下文，旨在展示技术领先性。
- 此次开源遵循修改版MIT协议，Kimi仍将继续自研大模型。
- Kimi K2在多个基准评测中创造了开源全新SOTA成绩。
- Kimi K2具备稳定的复杂指令解析能力，能够自动拆解需求。
- 开源模型版本包括Kimi-K2-Base和Kimi-K2-Instruct，适合不同场景。
- Kimi K2使用MuonClip优化器，提升训练稳定性和token使用效率。
- Kimi K2构建了可大规模生成多轮工具使用场景的合成pipeline。
- Kimi K2通过引入自我评价机制解决了不可验证任务的奖励稀缺问题。
- Kimi在DeepSeek冲击波后，重新证明了技术的领先性，表示不认输。
➡️
