Fish Audio 发布文本转语音模型 Drama 3，采用 35B 混合专家架构，每 token 激活约 3B 参数，权重开放。支持 83 种语言、16 个说话人及自然语言表演指令。发音鲁棒性测试得分 93.2%，精确序列为 86.3%。自托管需 48GB 以上 NVIDIA 显存，API 定价每百万字符 50 美元，年营收 50 万美元以下可免费商用。

Ai2 开源 OLMo-core 3，重写 MoE 训练系统，专家池扩至 128、参数达 470 亿，吞吐提升约 2.7 倍。报告指出“token gerrymandering”问题：全局均衡分数可能掩盖分时间窗的专家热点，导致局部拥堵。建议路由验收按时间窗、分层、分 GPU 进行，监控峰值占比、丢弃 Token 与通信等待，并设置停机条件。

循环MoE架构将MoE与循环Transformer结合，参数与算力比值虽与稠密模型相同，但行为迥异。MoE横向动态路由专家，循环机制纵向增加计算深度，二者叠加使知识容量与思考深度解耦，并可将显存瓶颈转为算力瓶颈。但训练难度大，存在路由坍缩、循环次数难定、梯度不稳等问题，实际部署尚少。

6GB显存可运行Qwen3.6-35B-A3B-NVFP4，但需32GB以上内存，依赖CPU和PCIe。配置建议：Triton attention、memory-ratio 0.92、Prefill 2048、512专家槽。性能低于8GB的39.3 tok/s，适合短上下文和编码实验。需Ampere架构，逐步调优专家缓存和KV，实测不同后端。

DeepSeek通过系统级创新，用2048块H800和557.6万美元完成训练，成本仅为GPT-4o的二十分之一。它未发明新技术，但优化了MLA压缩KV缓存、MoE专家激活、FP8混合精度训练、DualPipe计算通信重叠等六项技术，显著降低内存和算力消耗，提升效率，突破芯片限制。

Colibri 是一个开源项目，允许普通电脑在仅有 25GB 内存的情况下运行 GLM-5.2 模型，无需 GPU。它通过按需加载模型参数，节省内存和硬盘空间。GLM-5.2 是智谱发布的强大开源模型，支持多种操作系统，但需要 370GB 硬盘。

蚂蚁灵波推出了LingBot-Video，这是全球首个针对具身智能的视频生成模型。该模型专注于生成符合物理规律的视频，帮助机器人理解真实世界的互动。LingBot-Video结合了大量具身数据和互联网视频，通过MoE架构降低计算成本，提升训练效率，应用于机器人动作规划和策略评估，标志着视频生成技术向物理世界模拟器的转变。

英伟达推出NeMo AutoModel，基于Transformers v5，提升MoE模型微调速度3.4-3.7倍，显存减少29%-32%。通过专家并行、DeepEP和TransformerEngine等技术，优化内存和计算效率。用户只需添加一行代码即可实现升级，支持更大批次和更长序列，相关代码已开源。

本文探讨了750B MoE模型从自建RoCE集群迁移至AWS EFA的过程，验证了Prefill-Decode分离推理的通信架构。客户希望利用AWS的弹性算力扩展本地GPU资源，降低硬件风险。通过理论分析和实际测试，比较了AWS EFA与自建RoCE集群的性能，发现EFA在复杂通信负载下表现良好，尽管在某些延迟指标上略逊一筹，但在尾延迟稳定性上有显著优势。整体来看，EFA已可替代RoCE，尤其在对尾延迟敏感的场景中表现出色。

Modular 26.4版本推出，支持MiniMax M3和GLM 5.2等前沿模型，增强了模型架构和API兼容性。新功能包括稀疏激活的Mixture-of-Experts（MoE）架构，提升了性能和开发体验。用户可通过Modular Cloud访问500多种模型架构，支持多种应用场景。

Modular 26.4版本推出，支持MiniMax M3和GLM 5.2等前沿模型，增强了模型架构和API兼容性。新功能包括稀疏激活的Mixture-of-Experts（MoE）架构，提升性能和开发体验。用户可通过Modular Cloud访问500多种模型架构，适用于多种应用场景。

Google DeepMind 发布了新款多模态模型 Gemma 4 12B，参数为120亿，但在多项测试中表现接近260亿参数的模型。其无编码器架构显著降低了推理延迟和内存占用，支持音频输入，并可在普通笔记本上运行，降低了部署成本，为开发者提供了接近顶级性能的选择。

KT-FT v0.6.1更新了MoE SFT后端，提升了训练速度和内存使用效率。新版本支持将训练好的适配器无缝集成到SGLang中，并优化了本地服务流程。用户可通过转换脚本将适配器分为专家和非专家LoRA，确保有效运行，目标是实现从本地微调到服务的完整闭环。

DeepSeek-V4系列模型推出了1.6T和284B参数的两个版本，采用混合注意力架构和流形约束超连接，提升了长上下文处理效率。通过Muon优化器和多项基础设施优化，模型在训练和推理阶段展现出更高的稳定性和效率。预训练后，DeepSeek-V4在多个基准测试中超越前代，设立了新的性能标准。

OpenMythos是一种新型的循环深度Transformer架构，采用MoE路由机制，通过跨专家权重共享实现高效推理。在参数量减少近一半的情况下，其性能与传统模型相当。研究表明，循环Transformer在处理未见知识组合和深度推理方面表现更佳，可能改变大模型的训练方式，受到学术界关注。