量子位
·
9B“小”模型干了票“大”的：性能超8倍参数模型，拿下23项SOTA | 智谱开源
💡
原文中文，约4200字，阅读约需10分钟。
📝
内容提要
智谱推出了新模型GLM-4.1V-9B-Thinking，参数仅9B，却在28项评测中获得23个SOTA，超越8倍参数模型。该模型采用思维链推理和课程采样强化学习，具备超长视频解析和智能读图问答能力，表现优异。
🎯
关键要点
- 智谱推出了新模型GLM-4.1V-9B-Thinking，参数仅9B。
- 该模型在28项评测中获得23个SOTA，超越8倍参数模型。
- GLM-4.1V-9B-Thinking采用思维链推理和课程采样强化学习。
- 模型具备超长视频解析和智能读图问答能力，表现优异。
- 浦东创投集团和张江集团对智谱进行了10亿元投资。
- GLM-4.1V-9B-Thinking能够分析名画和解决复杂数学题。
- 模型支持超长视频解析、智能读图问答、理科解题等多种能力。
- 技术架构包括视觉编码器、多层感知机适配器和语言解码器。
- 视觉编码器使用三维卷积，提升视频处理效率。
- 模型训练分为预训练、监督微调和课程采样强化学习三个阶段。
- 预训练阶段使用双通道并行训练，提升图文理解能力。
- 监督微调阶段专注于提升复杂推理能力。
- 课程采样强化学习阶段结合多种任务维度进行强化训练。
- GLM-4.1V-9B-Thinking的论文和代码已开源，供公众使用。
❓
延伸问答
GLM-4.1V-9B-Thinking模型的参数量是多少？
GLM-4.1V-9B-Thinking模型的参数量为9B。
GLM-4.1V-9B-Thinking在评测中表现如何？
该模型在28项评测中获得了23个SOTA，超越了8倍参数的模型。
GLM-4.1V-9B-Thinking采用了哪些技术？
该模型采用了思维链推理和课程采样强化学习技术。
GLM-4.1V-9B-Thinking具备哪些能力？
它具备超长视频解析、智能读图问答、理科解题等多种能力。
GLM-4.1V-9B-Thinking的训练过程是怎样的？
训练过程包括预训练、监督微调和课程采样强化学习三个阶段。
智谱对GLM-4.1V-9B-Thinking进行了多少投资？
浦东创投集团和张江集团对智谱进行了10亿元的投资。
➡️
