Super X AI Technology Limited推出SuperX XN9160-B300 AI服务器，搭载NVIDIA Blackwell GPU，专为大规模AI训练和推理设计，具备高性能和扩展性，适合多种高强度应用。

由于华为升腾芯片技术问题，Deepseek R2最终选择使用英伟达GPU进行训练。尽管国内模型逐渐进步，但在算力和训练能力上仍落后于国际大模型。国内芯片在推理方面可用，但大规模训练面临挑战，未来发展需耐心等待。

月之暗面开源了改进版Muon优化器，计算效率提升2倍，优于AdamW。新模型Moonlight在相同预算下表现更佳，支持大规模训练，无需调整超参数。

这篇文章介绍了PyTorch在LLM生命周期的改进，包括大规模训练、内存高效微调和设备上的LLM能力。作者讨论了内存高效微调的重要性和常见的架构和算法技术。他们还讨论了在设备上部署大型模型的挑战和量化技术。

Meta发布了Llama 3.1，这是世界上最大且最强大的开源语言模型。新版本支持八种语言，并将上下文长度扩展到128K。Llama 3.1与闭源模型相媲美，提供了各种组件来创建全面的系统。Meta还计划开发具有集成语音和视觉功能的模型。模型可以从Meta网站和Hugging Face下载。评估结果显示，Llama 3.1在各种任务中与领先的模型竞争力相当。Llama 3.1的架构经过优化，可进行大规模训练，使用了超过150万亿个标记。该模型还支持指令和基于聊天的微调。Meta发布了完整的参考系统和标准化接口，以促进与行业和开源社区的合作。开发人员可以根据自己的需求和应用定制模型。