内容提要
微信团队推出自研AI模型WeLM系列,包括80B和617B版本,后者采用混合专家架构,仍在开发中。该系列已内置到微信AI助手小微,支持对话、搜索及调用微信功能。设计注重资源效率而非参数规模,旨在支撑十亿级用户高频使用,未来将加速小程序智能化。
延伸解读
资源效率优先的设计理念
微信团队在WeLM系列中明确表示,设计目标并非追求参数规模的军备竞赛,而是以资源效率为先。通过稀疏MoE架构和深度扩展等手段,在有限算力与数据资源下构建高效模型,以支撑十亿级用户的高频调用。这一理念与行业普遍追求大规模参数和冲榜评测的路线形成对比,体现了微信对实际落地能力的重视。
模型部署与功能集成
目前WeLM-80B已内置到微信原生AI助手小微中,用户可以通过自然语言实现对话、搜索、调用微信原生功能(如发消息、打电话)以及访问小程序服务。这一部署将AI能力直接融入微信生态,为语音交互场景提供了实际应用基础,而617B版本仍在开发中,未来可能进一步加速小程序智能化。
与腾讯混元系列的差异
微信并未依赖腾讯混元系列模型,而是长期迭代自有的WeLM体系。此前版本已在内部支撑小微测试,表明微信在AI模型上选择独立研发路线,以更好地适配自身超大规模用户场景和资源约束。这一策略可能反映了微信对模型可控性和效率的优先考量。
Q&A
微信推出的WeLM模型有哪些版本?参数规模分别是多少?
微信推出的WeLM系列模型包括WeLM-80B和WeLM-617B两个版本。WeLM-80B总参数规模为800亿,推理时仅激活30亿参数;WeLM-617B总参数规模为6170亿,激活参数为230亿,采用混合专家架构(MoE),目前仍在开发中。
WeLM模型目前已经应用在哪些场景?
WeLM系列模型已经内置到微信原生AI助手小微中,用户可以通过自然语言实现对话与搜索、直接调用微信原生功能(如发消息和打电话),以及无缝访问小程序服务,实现语音交互的场景落地。
微信团队研发WeLM模型的设计理念是什么?
微信团队研发WeLM模型的设计理念并非追求参数规模的军备竞赛,而是以资源效率为先,即在有限的算力与数据资源下构建高效模型,旨在支撑微信海量用户的日常AI交互与生态服务。
WeLM-617B采用了什么架构?目前状态如何?
WeLM-617B采用了混合专家架构(MoE),总参数规模为6170亿,激活参数为230亿。目前该模型仍在开发中。
微信为什么没有使用腾讯混元系列模型,而是自研WeLM?
微信团队认为资源效率比参数规模更重要,他们通过稀疏MoE架构和深度扩展等手段,在有限算力与数据资源下构建高效模型,目标是支撑十亿级用户的高频调用。因此,微信长期迭代自有的WeLM体系,而不是依赖腾讯混元系列模型。
WeLM-617B落地后可能带来哪些影响?
WeLM-617B落地后,应该可以继续加速小程序智能化与个性化工具的爆发。