小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
沉浸式翻译 immersive translate
Dify.AI
从Mixtral到Kimi K3:混合专家模型的演进之路

Kimi K3采用Stable LatentMoE架构,拥有2.8万亿参数,但每个token仅激活约1040亿。其每层有896个专家,仅选16个处理。该设计通过压缩路由路径、RMSNorm稳定输出、SiTU-GLU限制激活值及分位数平衡路由,解决了大规模稀疏模型的训练稳定性和计算成本问题。

从Mixtral到Kimi K3:混合专家模型的演进之路

freeCodeCamp.org freeCodeCamp.org · 2026-08-27T21:31:21Z
通过稀疏电路理解神经网络

神经网络是现代AI系统的核心,但理解其工作原理较为困难。可解释性方法帮助我们理解模型输出的原因。机械可解释性通过逆向工程模型计算,尽管复杂,但能提供更全面的解释。通过训练稀疏模型,我们发现可以简化模型内部计算,使其更易于理解。未来,我们希望扩展这些技术,以更好地解释大型模型的行为。

通过稀疏电路理解神经网络

OpenAI OpenAI · 2025-11-13T10:00:00Z
CLIP-UP:一种简单高效的稀疏上循环Mixture-of-Experts CLIP训练方案

Mixture-of-Experts (MoE)模型在提升模型能力和控制推理成本方面至关重要。我们提出了一种高效的训练策略CLIP-Upcycling(CLIP-UP),将预训练的密集CLIP模型转化为稀疏MoE架构。实验结果表明,CLIP-UP显著降低了训练复杂性和成本,稀疏CLIP B/16模型在COCO和Flickr30k基准测试中分别超越密集模型7.2%和6.6%。该方法在不同规模上表现良好,为构建高效CLIP模型提供了可行方案。

CLIP-UP:一种简单高效的稀疏上循环Mixture-of-Experts CLIP训练方案

Apple Machine Learning Research Apple Machine Learning Research · 2025-05-27T00:00:00Z

本文提出了一种结合权重剪枝和模型蒸馏的新方法,旨在训练稀疏的预训练变压器语言模型。这些模型在保持稀疏性的同时,能够高效完成自然语言处理任务,并通过量化感知训练压缩至8位精度。研究表明,稀疏模型在训练和推理中实现了显著加速,且准确性损失极小,提供了一种高效、易于部署的语言模型训练框架。

使用半结构自适应稀疏训练修剪大型语言模型

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-07-30T00:00:00Z

本文介绍了 Vision MoE,一种稀疏的 Vision Transformer,具备优异的图像识别性能和较低的计算需求。通过优化路由算法和训练153亿参数的模型,V-MoE 实现了高效的视觉建模。此外,研究探讨了多头专家混合模型和稀疏门控专家组技术在视觉语言模型中的应用,提升了训练效率和模型性能。

嵌套专家混合:对视觉令牌的自适应处理

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-07-29T00:00:00Z

本文探讨了自然语言处理中的训练不稳定和模型精确性问题,提出了多种稀疏模型(如MH-MoE、SMoE、HyperMoE等),旨在提高性能和效率。这些模型通过动态专家混合和层次结构,增强了上下文理解,减轻了过拟合,并在多语言机器翻译和视觉语言任务中表现出色,推动了科学文本分类的发展。

探索稀疏专家混合模型在多领域神经机器翻译中的潜力

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-07-01T00:00:00Z

本文探讨了混合密集与稀疏模型(DS-MoE)在训练和推理中的优势,显示其在参数效率和计算成本上优于传统稀疏模型。研究表明,混合专家模型在多语言生成和任务推广中表现出色,并提出了改进路由机制的策略以提升性能。未来研究将集中于优化混合专家模型的设计和多模态表示能力。

稀疏专家混合模型构建可靠的语言模型

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-06-17T00:00:00Z

该文综述混合专家(MoE)模型研究进展,涵盖ST-MoE-32B稀疏模型实现全面迁移学习、分层SMoE提升机器翻译、令牌/句子/任务级路由策略(task-MoE可蒸馏高效子网络),以及RMoE、MoEBERT、MoDE、HyperMoE等通过蒸馏、超网络、软路由提升训练效率与性能,并支持多语言大规模训练。

香草变形器是传输能力教师

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-03-04T00:00:00Z

本文综述神经网络权重空间研究,涵盖:数据增强缓解过拟合、深度元分类器与神经权重空间数据集、稀疏模型与动态重要性加权应对分布偏移、置换等变权重层与神经功能变压器、多层网络权重空间可解性、无梯度权重插值实现少样本任务迁移、辅助网络与互信息减少噪声记忆、深度权重先验改进贝叶斯网络。

通过增强实现权重空间网络的改进泛化

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-06T00:00:00Z

本文综述混合专家模型(MoE)的多项研究进展,包括专家选择路由、StableMoE两阶段方法、SpeechMoE语音识别、单门MoE异步训练、MoE层机制理论、Vision MoE视觉建模、负载均衡路由策略、稀疏ViT及万亿参数专家原型法,这些方法显著提升了训练收敛、性能与效率。

视觉多专家中的路由器:实证研究

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-01-29T00:00:00Z

本文综述混合专家(MoE)模型研究进展:MoE在相同预算下比密集模型更高效,但泛化表现不同;专家原型法将规模扩至万亿参数;参数高效架构缓解参数膨胀;SE-MoE提升分布式训练吞吐量;DeepSpeed-MoE优化压缩与推理;三维混合并行提高训练效率;稀疏模型可缩减为密集模型;ST-MoE-32B在多任务上领先。

DeepSeekMoE: 迈向极致专业化的混合专家语言模型

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-01-11T00:00:00Z

该研究提出了一种新的度量方法,用于降低DNN的内存占用。同时介绍了一种新型可转置细粒度稀疏掩码,并使用最小成本流问题来寻找最优的可转置掩码。此外,还提出了一种将无结构稀疏模型转换为N:M细粒度块稀疏模型的方法。

集成口罩网络

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-09-12T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码