BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 ·

移动版 V-MoEs：通过稀疏的专家混合缩小视觉变形器

💡 原文中文，约200字，阅读约需1分钟。
📝

内容提要

该文介绍了一种软的 MoE 方法，可以在训练和推断成本上实现模型容量的扩展，解决了传统的 MoE 方法中存在的多个问题。该方法在视觉识别任务中表现优于标准的 Transformers 和其他 MoE 变种，并且在模型规模扩展上也有良好的性能。

🏷️

标签

MoE Transformers 模型容量 模型规模扩展 移动 视觉识别
➡️

继续阅读

  1. Kimi K3 模型结构（9）：显存，把 2.8T 塞进 GPU
    本文详解Kimi K3模型训练中的显存优化策略，通过账本形式分析权重、激活等内存占用，并介绍六项关键技术：均衡PP rank激活、统一激活管理器、MoE反...
  2. Kimi K3 模型结构（8）：训练并行，一步训练里谁在等谁
    本文介绍Kimi K3模型预训练的并行系统设计，聚焦MoE层expert并行。核心是MoonEP方案：每个rank预留E/R个冗余expert槽位，确保任...
  3. DeepSeek-V4 模型结构（5）：宽度维度，DeepSeekMoE 的四个改动
    本文介绍DeepSeek-V4模型结构中MoE层的四处改动：路由打分从sigmoid改为sqrt(softplus)以消除饱和；前三层用固定hash ro...
  4. DeepSeek-V4 模型结构（0）：一张图看懂 DeepSeek-V4
    本文介绍DeepSeek-V4模型架构：Pro版总参数1.6T、61层，Flash版284B、43层，均采用4条残差流、交错CSA/HCA压缩注意力与Mo...
  5. Kimi K3 模型结构（0）：一张图看懂 Kimi K3
    Kimi K3是2.78T参数、104.2B激活的93层MoE模型，支持1M上下文及图像视频输入。其结构创新分三方面：序列用KDA与Gated MLA混合...
  6. SenseNova-U1.5-8B-MoT 统一生成与理解，解锁原生多模态创作；DeepSeek-V4-Flash-Vision-Exp 拓展视觉理解新能力
    商汤科技发布SenseNova-U1.5-8B-MoT统一多模态模型，支持图像生成、编辑与理解，提升4K画质和文字渲染。HyperAI官网更新数据集、教程...
👤 个人中心
在公众号发送验证码完成验证