OpenMythos是一种新型的循环深度Transformer架构，采用MoE路由机制，通过跨专家权重共享实现高效推理。在参数量减少近一半的情况下，其性能与传统模型相当。研究表明，循环Transformer在处理未见知识组合和深度推理方面表现更佳，可能改变大模型的训练方式，受到学术界关注。

Mistral AI 发布了 Mistral Small 4，具备指令执行、推理和多模态理解功能，支持256k上下文窗口，具有可配置推理强度，提升了推理效率和经济性，适合通用聊天和复杂推理。

本文介绍了Voyage AI在嵌入模型扩展方面的研究，特别是通过混合专家（MoE）架构提高效率。Voyage-4-large模型实现了75%的参数减少，同时保持检索准确率，显著降低计算成本和延迟。MoE模型通过优化设计有效解耦知识容量与计算成本。

AI短名单是对长篇文章的简要概述，旨在提炼出核心信息。

美团 LongCat 团队推出了 LongCat-Flash-Lite，这是一款轻量化的 MoE 模型，参数量为685亿，推理时激活29亿至45亿参数。该模型在智能体和编程任务中表现优异，尤其在复杂工具使用和代码修复方面，现已开源，欢迎开发者体验。

本文介绍了一种名为RoE的超并行推理框架，旨在提升大语言模型（LLM）在标记级别的预测质量。RoE通过动态组合多个专家模型，利用受控随机性为每个标记采样多个专家，从而实现更准确的预测。此外，该方法在计算效率上进行了优化，使得7B MoE模型的性能可与10.5B MoE模型相媲美，同时减少了30%的计算需求。

AI短名单是对长篇文章的简要概述，旨在提炼出核心信息。

AI短名单是对人工智能领域中重要项目或技术的简要概述，旨在突出其关键特征和影响。

本文介绍了MoE-PHDS（后hoc声明稀疏性），一种轻量级的SFT方法，允许在推理时灵活调整稀疏性，而无需更换模型或架构。PHDS通过在不同稀疏水平上训练，提高了模型的准确性和延迟可预测性，简化了MoE的部署，并提升了跨稀疏性的一致性。实验结果显示，PHDS在多个操作点上优于传统模型。

抱歉，您提供的文本内容过于简短，无法进行有效总结。请提供更详细的文章内容。

抱歉，提供的文本内容不足以进行总结。请提供更详细的文章内容。

抱歉，提供的文本内容过于简短，无法有效总结。请提供更详细的文章内容。

Uni-MoE-2.0-Omni是哈尔滨工业大学深圳分校研发的全模态大型模型，支持文本、图像、音频和视频的理解与生成。基于Qwen2.5-7B模型，采用动态容量路由和渐进式监督学习，显著提升了跨模态推理能力，尤其在视频理解和长语音处理方面表现优异。

天气预报面临复杂挑战，数值天气预报（NWP）是主流方法。近年来，深度学习在气象建模中展现出潜力，催生了「气象人工智能（AI4Weather）」。现有模型需全量重训，计算成本高。香港科技大学等提出「增量天气预报（IWF）」新范式，推出「变量自适应专家混合模型（VA-MoE）」，可在新增变量时无需全量重训，从而降低计算开销。研究成果已被国际顶会接收。