随着AI模型参数增加，算力需求也在增长。Felafax公司通过简化AI训练集群，将训练成本降低了30%。他们使用JAX在AMD GPU上微调LLaMA 3.1 405B模型，展示了JAX在非英伟达硬件上的优势。JAX支持多硬件并行，适应性强，迁移方便。Felafax利用JAX的设备网格功能进行参数分片，优化内存和计算效率，并通过LoRA技术减少可训练参数，实现高效微调。相关代码已开源，并提供详细教程。

Meta发布了Llama 3.1 405B语言模型，拥有4050亿参数、15万亿令牌和16000个GPU。云服务提供商支持该模型，包括Databricks、Dell、Nvidia、IBM、Snowflake和Scale AI等。Llama 3.1 405B支持8种语言，提供网页搜索、数学推理和代码执行等工具。用户可以下载权重并在应用中使用。根据Scale AI的SEAL排行榜，Llama 3.1 405B在数学推理和编码方面排名靠前。这次发布是AI行业的战略举措，也是技术上的突破。

Meta开源了最新的405B模型（Llama 3.1 405B）和SGLang Runtime v0.2，提高模型推理速度。SGLang在运行Llama 3.1 405B时表现优于vLLM和TensorRT-LLM，吞吐量达到TensorRT-LLM的2.1倍，vLLM的3.8倍。SGLang是一个用于大型语言模型和视觉语言模型的快速服务框架，完全开源，由纯Python编写。它在离线和在线场景下都能提供卓越的性能。

Meta在Amazon Bedrock上线Llama 3.1模型，支持128K上下文长度，容量是Llama 3模型的16倍。Llama 3.1在行业基准测试中表现出色，提供多语言对话用例推理效率。

Meta发布了Llama 3.1，这是世界上最大且最强大的开源语言模型。新版本支持八种语言，并将上下文长度扩展到128K。Llama 3.1与闭源模型相媲美，提供了各种组件来创建全面的系统。Meta还计划开发具有集成语音和视觉功能的模型。模型可以从Meta网站和Hugging Face下载。评估结果显示，Llama 3.1在各种任务中与领先的模型竞争力相当。Llama 3.1的架构经过优化，可进行大规模训练，使用了超过150万亿个标记。该模型还支持指令和基于聊天的微调。Meta发布了完整的参考系统和标准化接口，以促进与行业和开源社区的合作。开发人员可以根据自己的需求和应用定制模型。

Llama 3.1发布了三款机型，其中405B是开源机型首次与最好的封闭机型相媲美。Llama 3.1-405B在与GPT-4o进行的测试中表现不俗，但在日常任务中落后于gpt4。Llama 3.1-70B也相当不错。开源AI对开发人员有利，可以训练、微调和提炼自己的模型，掌控自己的命运，保护数据，并且具有高效且低成本的模型。开源AI的作用不会超过5%。开源AI模型虽然无法阅读和修改，但仍具有开放源代码的特点。

Meta发布了Llama 3.1模型，这是他们迄今为止最强大的开源模型。Llama 3.1有三种尺寸，性能比GPT-4等其他模型更好。它支持多种语言，具有出色的代码生成性能，可以处理复杂的推理任务。该模型可免费下载并可在任何地方部署。Llama 3.1 405B版本在基准测试中表现优异。该模型使用了超过150万亿个标记进行训练，并针对可扩展性和简洁性进行了优化。它还利用合成数据生成来提高训练质量。Meta旨在引领开源人工智能时代，并相信Llama的未来将是行业中最先进的。

OpenAI推出了GPT-4o mini，一款更小、更快、更具成本效益的人工智能模型，表现优异且运行成本便宜60%以上。Meta发布了Llama 3.1，最大的开源AI模型，使用了16000多个Nvidia H100 GPU进行开发，经过了严格测试。

Meta发布了Llama 3.1系列的多语言大型语言模型（LLM）。Llama 3.1-405B模型是最大的开源语言模型，拥有405B个参数，可在IBM Watsonx上部署。该版本包括更长的上下文长度、扩展的工具使用和多语言能力。与领先模型相比，Llama 3.1模型取得了令人印象深刻的性能基准。发布还包括安全措施和防护措施。Llama 3.1模型可用于合成数据生成、知识蒸馏、其他模型的评估和微调。模型具有更长的上下文窗口、改进的安全措施，并且支持多语言。IBM Watsonx提供了定制和实施Llama 3.1模型的平台。