Google DeepMind 发布了新款多模态模型 Gemma 4 12B，参数为120亿，但在多项测试中表现接近260亿参数的模型。其无编码器架构显著降低了推理延迟和内存占用，支持音频输入，并可在普通笔记本上运行，降低了部署成本，为开发者提供了接近顶级性能的选择。

KT-FT v0.6.1更新了MoE SFT后端，提升了训练速度和内存使用效率。新版本支持将训练好的适配器无缝集成到SGLang中，并优化了本地服务流程。用户可通过转换脚本将适配器分为专家和非专家LoRA，确保有效运行，目标是实现从本地微调到服务的完整闭环。

DeepSeek-V4系列模型推出了1.6T和284B参数的两个版本，采用混合注意力架构和流形约束超连接，提升了长上下文处理效率。通过Muon优化器和多项基础设施优化，模型在训练和推理阶段展现出更高的稳定性和效率。预训练后，DeepSeek-V4在多个基准测试中超越前代，设立了新的性能标准。

OpenMythos是一种新型的循环深度Transformer架构，采用MoE路由机制，通过跨专家权重共享实现高效推理。在参数量减少近一半的情况下，其性能与传统模型相当。研究表明，循环Transformer在处理未见知识组合和深度推理方面表现更佳，可能改变大模型的训练方式，受到学术界关注。

Mistral AI 发布了 Mistral Small 4，具备指令执行、推理和多模态理解功能，支持256k上下文窗口，具有可配置推理强度，提升了推理效率和经济性，适合通用聊天和复杂推理。

本文介绍了Voyage AI在嵌入模型扩展方面的研究，特别是通过混合专家（MoE）架构提高效率。Voyage-4-large模型实现了75%的参数减少，同时保持检索准确率，显著降低计算成本和延迟。MoE模型通过优化设计有效解耦知识容量与计算成本。

AI短名单是对长篇文章的简要概述，旨在提炼出核心信息。

美团 LongCat 团队推出了 LongCat-Flash-Lite，这是一款轻量化的 MoE 模型，参数量为685亿，推理时激活29亿至45亿参数。该模型在智能体和编程任务中表现优异，尤其在复杂工具使用和代码修复方面，现已开源，欢迎开发者体验。

本文介绍了一种名为RoE的超并行推理框架，旨在提升大语言模型（LLM）在标记级别的预测质量。RoE通过动态组合多个专家模型，利用受控随机性为每个标记采样多个专家，从而实现更准确的预测。此外，该方法在计算效率上进行了优化，使得7B MoE模型的性能可与10.5B MoE模型相媲美，同时减少了30%的计算需求。

AI短名单是对长篇文章的简要概述，旨在提炼出核心信息。

AI短名单是对人工智能领域中重要项目或技术的简要概述，旨在突出其关键特征和影响。

本文介绍了MoE-PHDS（后hoc声明稀疏性），一种轻量级的SFT方法，允许在推理时灵活调整稀疏性，而无需更换模型或架构。PHDS通过在不同稀疏水平上训练，提高了模型的准确性和延迟可预测性，简化了MoE的部署，并提升了跨稀疏性的一致性。实验结果显示，PHDS在多个操作点上优于传统模型。

抱歉，您提供的文本内容过于简短，无法进行有效总结。请提供更详细的文章内容。

抱歉，提供的文本内容不足以进行总结。请提供更详细的文章内容。

抱歉，提供的文本内容过于简短，无法有效总结。请提供更详细的文章内容。