本文介绍DeepSeek-V4模型架构：Pro版总参数1.6T、61层，Flash版284B、43层，均采用4条残差流、交错CSA/HCA压缩注意力与MoE结构。相比V3.2，推理FLOPs降至27%、KV缓存仅10%。文章提供层排布、维度对照表及参数明细，并预告后续将分篇详解各模块设计。

本文比较了ChatGPT、Gemini和Claude三种模型的架构差异。三者均基于变换器架构，但在训练方法、密度、多模态处理、上下文窗口和对齐方式上存在显著不同。Gemini采用专家混合模型，支持多模态输入；OpenAI通过人类反馈强化学习优化模型；Anthropic使用宪法AI进行自我修正。尽管起点不同，三者在推理能力上逐渐趋同，均采用显式推理令牌以提升性能。

Modular 26.4版本推出，支持MiniMax M3和GLM 5.2等前沿模型，增强了模型架构和API兼容性。新功能包括稀疏激活的Mixture-of-Experts（MoE）架构，提升了性能和开发体验。用户可通过Modular Cloud访问500多种模型架构，支持多种应用场景。

Modular 26.4版本推出，支持MiniMax M3和GLM 5.2等前沿模型，增强了模型架构和API兼容性。新功能包括稀疏激活的Mixture-of-Experts（MoE）架构，提升性能和开发体验。用户可通过Modular Cloud访问500多种模型架构，适用于多种应用场景。

洪水是严重的自然灾害，准确预测洪水至关重要。Google Research推出的全球洪水预报系统第二版，通过改进模型架构和数据输入，显著提升了预报的稳定性和可靠性。新系统解决了训练数据不足的问题，并公开了关键实现细节和数据集，推动了水文预报的进步。尽管仍面临一些挑战，该系统为全球洪水预报提供了重要支持。

自然语言生成（NLG）面临挑战，现代解码器模型如Llama和GPT在大量文本数据上训练有效。本文介绍了如何构建Llama或GPT模型进行下一个标记预测，包括模型架构、预训练和变体。Llama模型采用分组查询注意力和旋转位置嵌入，使用SwiGLU激活函数，形成简单高效的语言模型。

大型语言模型（LLMs）是现代人工智能的前沿，Meta最新发布的Llama 4在架构和功能上有显著进展。freeCodeCamp.org的课程将教你如何从零开始实现Llama 4，内容涵盖模型架构、令牌、注意机制和旋转位置嵌入，适合机器学习爱好者和开发者。

AIxiv专栏促进了学术交流，报道了2000多篇文章。文章探讨了未来模型架构需具备强大记忆扩展能力和低复杂度，提出了MoM（Mixture-of-Memories）方法，通过稀疏激活和共享记忆提升性能，尤其在长序列建模任务中表现突出。

这项研究探讨了中型AI模型在多语言翻译中的表现，发现在适当提示下，其效果可与大型模型相媲美。研究评估了多语言翻译能力、模型架构及翻译质量与计算成本之间的权衡。