Ling 3.0 Flash Sante是inclusionAI推出的医疗健康专用模型,现已在AI Gateway上线,10月4日前免费使用。该模型为混合专家架构,总参数124B,活跃参数5.1B,支持256K上下文和函数调用,擅长医学推理、专业医疗任务及多步骤医疗流程。用户可通过标准或免费模型ID使用,免费期后标准版开始计费,免费版停止服务。
微信团队推出自研AI模型WeLM系列,包括80B和617B版本,后者采用混合专家架构,仍在开发中。该系列已内置到微信AI助手小微,支持对话、搜索及调用微信功能。设计注重资源效率而非参数规模,旨在支撑十亿级用户高频使用,未来将加速小程序智能化。
蚂蚁集团的论文《LLaDA2.0-Uni》提出了一种离散扩散语言模型,旨在统一视觉理解和图像生成。该模型通过将图像压缩为离散语义token,并利用混合专家架构实现文本和视觉token的并行处理,显著提升推理速度。LLaDA2.0-Uni在视觉理解和图像生成任务上表现优异,展现出理解与生成的连续交互能力。
DeepSeek V4通过混合专家架构和计算优化,显著降低了AI推理成本并提升了能力。该模型使普通开发者以低成本使用强大AI,打破了算力垄断。优化的路由策略和长文本处理能力提高了计算资源利用率,促进了AI行业的创新与发展。
npx workos推出了一款AI代理,能够将身份验证直接集成到现有代码中。DeepSeek V3及其他模型采用混合专家架构,优化了计算效率和内存使用,推动了开源生态的发展。
Zhipu AI发布了GLM-4.5和GLM-4.5-Air两款新AI模型,分别拥有355B和106B参数,采用混合专家架构,优化为“思考”和“非思考”模式。GLM-4.5在编码基准测试中表现优异,成功率达到90.6%。
本文介绍了MiniMax-M1模型的核心创新,包括闪电注意力和混合专家架构,显著提升了长文本处理能力。采用CISPO算法优化强化学习训练,提高效率并降低成本。模型在数学推理和工具调用等任务中表现优异,全面开源推动大模型应用普及。未来挑战包括数学推理优化和生态建设。
本研究提出了一种名为DynaMix的混合专家架构,旨在解决动态系统重建中的零样本推断能力不足问题。该方法能够在无需再培训的情况下,根据上下文信号对新动态系统进行长期演化预测,展现出在动态系统预测领域的巨大潜力。
Qwen3是阿里巴巴于2025年4月29日发布的开源AI模型,参数规模从600M到32B不等。其混合专家架构实现了高效计算,支持深度推理和快速响应,训练数据涵盖119种语言,适合编程和逻辑问题解决。
字节跳动发布的Seed-Thinking-v1.5模型在数学、编程和科学任务中表现优异,参数量达到2000亿。其混合专家架构和强化学习方法提升了推理能力,尤其在创意写作方面表现突出。尽管在某些领域仍有不足,但其系统性方法为AI推理能力提升提供了新思路。
Kimi团队发布的Kimi-VL是一个高效的开源多模态模型,采用混合专家架构和长上下文窗口,显著提升视觉语言理解能力,超越多个闭源模型,标志着开源领域的重要突破。
Llama 4引入混合专家架构,提升了模型效率和响应速度,支持高达1000万的上下文窗口,适合复杂任务。与以往模型相比,在多模态理解和资源利用上有显著改进,开发者可通过Cloudflare轻松实现应用。
Meta在周末发布了最新的AI模型系列Llama 4,包括Llama 4 Scout、Maverick和Behemoth。这些模型经过大量数据训练,具备强大的视觉理解能力,特别是Llama 4 Maverick在多项基准测试中表现优异,超越竞争对手。Scout和Maverick支持长达1000万token的上下文,适用于多种应用,且采用混合专家架构,提升推理效率和性能。
本研究提出了MoECollab框架,利用混合专家架构实现大型语言模型(LLM)的分布式协作开发,解决了集中化问题,提高了准确性,降低了计算需求,推动了LLM开发的民主化。
本研究提出了FedMoE-DA框架,旨在解决联邦学习中因客户端资源限制导致的大规模模型部署问题。该框架结合混合专家架构和领域感知的细粒度聚合策略,提升了模型的鲁棒性和通信效率,并显著减轻了服务器的通信压力。
本文介绍了多模态大型语言模型的混合专家架构(Uni-MoE),通过稀疏并行技术提高训练和推理效率,减少性能偏差。研究展示了新框架LaRA-MoE的有效性,提升了多模态任务的表现,并提出了MoE-tuning和MoE-LLaVA等策略,解决了多模态学习中的稀疏性问题,在视觉理解上取得了显著进展。
完成下面两步后,将自动完成登录并继续当前操作。