Colibri 是一个开源项目，允许普通电脑在仅有 25GB 内存的情况下运行 GLM-5.2 模型，无需 GPU。它通过按需加载模型参数，节省内存和硬盘空间。GLM-5.2 是智谱发布的强大开源模型，支持多种操作系统，但需要 370GB 硬盘。

蚂蚁灵波推出了LingBot-Video，这是全球首个针对具身智能的视频生成模型。该模型专注于生成符合物理规律的视频，帮助机器人理解真实世界的互动。LingBot-Video结合了大量具身数据和互联网视频，通过MoE架构降低计算成本，提升训练效率，应用于机器人动作规划和策略评估，标志着视频生成技术向物理世界模拟器的转变。

英伟达推出NeMo AutoModel，基于Transformers v5，提升MoE模型微调速度3.4-3.7倍，显存减少29%-32%。通过专家并行、DeepEP和TransformerEngine等技术，优化内存和计算效率。用户只需添加一行代码即可实现升级，支持更大批次和更长序列，相关代码已开源。

本文探讨了750B MoE模型从自建RoCE集群迁移至AWS EFA的过程，验证了Prefill-Decode分离推理的通信架构。客户希望利用AWS的弹性算力扩展本地GPU资源，降低硬件风险。通过理论分析和实际测试，比较了AWS EFA与自建RoCE集群的性能，发现EFA在复杂通信负载下表现良好，尽管在某些延迟指标上略逊一筹，但在尾延迟稳定性上有显著优势。整体来看，EFA已可替代RoCE，尤其在对尾延迟敏感的场景中表现出色。

Modular 26.4版本推出，支持MiniMax M3和GLM 5.2等前沿模型，增强了模型架构和API兼容性。新功能包括稀疏激活的Mixture-of-Experts（MoE）架构，提升了性能和开发体验。用户可通过Modular Cloud访问500多种模型架构，支持多种应用场景。

Modular 26.4版本推出，支持MiniMax M3和GLM 5.2等前沿模型，增强了模型架构和API兼容性。新功能包括稀疏激活的Mixture-of-Experts（MoE）架构，提升性能和开发体验。用户可通过Modular Cloud访问500多种模型架构，适用于多种应用场景。

Google DeepMind 发布了新款多模态模型 Gemma 4 12B，参数为120亿，但在多项测试中表现接近260亿参数的模型。其无编码器架构显著降低了推理延迟和内存占用，支持音频输入，并可在普通笔记本上运行，降低了部署成本，为开发者提供了接近顶级性能的选择。

KT-FT v0.6.1更新了MoE SFT后端，提升了训练速度和内存使用效率。新版本支持将训练好的适配器无缝集成到SGLang中，并优化了本地服务流程。用户可通过转换脚本将适配器分为专家和非专家LoRA，确保有效运行，目标是实现从本地微调到服务的完整闭环。

DeepSeek-V4系列模型推出了1.6T和284B参数的两个版本，采用混合注意力架构和流形约束超连接，提升了长上下文处理效率。通过Muon优化器和多项基础设施优化，模型在训练和推理阶段展现出更高的稳定性和效率。预训练后，DeepSeek-V4在多个基准测试中超越前代，设立了新的性能标准。

OpenMythos是一种新型的循环深度Transformer架构，采用MoE路由机制，通过跨专家权重共享实现高效推理。在参数量减少近一半的情况下，其性能与传统模型相当。研究表明，循环Transformer在处理未见知识组合和深度推理方面表现更佳，可能改变大模型的训练方式，受到学术界关注。

Mistral AI 发布了 Mistral Small 4，具备指令执行、推理和多模态理解功能，支持256k上下文窗口，具有可配置推理强度，提升了推理效率和经济性，适合通用聊天和复杂推理。

本文介绍了Voyage AI在嵌入模型扩展方面的研究，特别是通过混合专家（MoE）架构提高效率。Voyage-4-large模型实现了75%的参数减少，同时保持检索准确率，显著降低计算成本和延迟。MoE模型通过优化设计有效解耦知识容量与计算成本。

AI短名单是对长篇文章的简要概述，旨在提炼出核心信息。

美团 LongCat 团队推出了 LongCat-Flash-Lite，这是一款轻量化的 MoE 模型，参数量为685亿，推理时激活29亿至45亿参数。该模型在智能体和编程任务中表现优异，尤其在复杂工具使用和代码修复方面，现已开源，欢迎开发者体验。

本文介绍了一种名为RoE的超并行推理框架，旨在提升大语言模型（LLM）在标记级别的预测质量。RoE通过动态组合多个专家模型，利用受控随机性为每个标记采样多个专家，从而实现更准确的预测。此外，该方法在计算效率上进行了优化，使得7B MoE模型的性能可与10.5B MoE模型相媲美，同时减少了30%的计算需求。