BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 ·

MiMo: Unlocking the Reasoning Potential of Language Models - From Pre-training to Fine-tuning

💡 原文英文，约100词，阅读约需1分钟。
📝

内容提要

本研究提出了MiMo-7B模型，通过优化预训练和后训练阶段，显著提升了推理能力和任务性能，超越了更大模型。

🏷️

标签

MiMo-7B mimo models 任务性能 后训练 推理能力 预训练
➡️

继续阅读

  1. Kimi K3 模型结构（4）：深度维度，Attention Residuals
    本文解析Kimi K3模型中的Attention Residuals（注意力残差）结构。该机制将残差连接视为深度方向上的RNN，通过可学习伪query对e...
  2. 机器人不能停下来等模型：星尘发布 SmoothRL，让在线强化学习跟上大模型的异步推理
    星尘智能发布SmoothRL框架，解决真实机器人异步执行中的在线强化学习问题。该框架仅对实际执行的动作进行学习，并保持训练与部署节奏一致。在投掷、戴笔帽、...
  3. Presentation: From S3 to GPU in One Copy: Rethinking Data Loading for ML Training
    Onur Satici explains how Vortex, an open-source columnar file format under th...
  4. 2026 09 06 HackerNews
    Anthropic团队利用Claude AI在11天内完成了费马大定理的完整计算机验证，生成了1300万行Lean代码，证明了29500个中间定理，展示了...
  5. 推理服务的缓存与调度：前缀、多级存储、集群路由
    本文讨论长上下文推理服务的缓存与调度优化。核心原则是缓存未命中比命中贵几个数量级，因此设计围绕复用展开：单实例内通过块哈希实现前缀缓存；KV池采用writ...
  6. 显存账本：每张卡上住着什么，搬走付什么
    本文介绍训练大模型时显存管理的通用记账方法。显存分为五类：权重、梯度、优化器状态、激活和通信缓冲。前三类由参数量和并行度决定，激活随输入长度增长，优化空间...
👤 个人中心
在公众号发送验证码完成验证