Taalas公司推出了一种新型AI硬件，将Llama 3.1模型直接固化在芯片中，显著降低输出延迟并提升计算效率。这种“模型即硬件”的设计克服了传统GPU的内存瓶颈，适用于复杂决策和实时推理，展现出优越的能效和成本优势。

在AI推理时代，训练更智能的模型至关重要。NVIDIA在MLPerf Training v5.1中表现卓越，所有七项测试均获胜，展示了其Blackwell Ultra架构的强大性能。通过使用NVFP4精度，NVIDIA显著提升了计算性能，Llama 3.1 405B的训练时间创下10分钟新纪录，推动AI智能快速发展。

谷歌云为Cloud Run无服务器平台推出GPU支持，助力开发者加速模型推理。本文介绍如何在GPU基础的Cloud Run上部署Llama 3.1大语言模型，步骤包括环境初始化、部署TGI模型服务器和推理测试。

Nvidia 推出的 Nemotron 70B 是 Llama 3.1 系列的一部分，拥有 700 亿参数，提升了生成式 AI 的稳健性、准确性和效率。该模型支持微调，适用于金融和医疗领域，推理速度快，能耗低，性能超越 GPT-4，在语言理解任务中表现出色。

MAX 24.5发布，带来了Llama 3.1 CPU性能的显著改进、新的Python图形API绑定、最大的Mojo更新、行业标准打包和明确的许可证。新增的MAX Driver接口提高了令牌生成速度45%。MAX Llama流水线使用全新的Python图形API绑定技术预览，为Python开发人员提供强大功能。使用新的包管理器Magic，立即开始使用MAX 24.5和Llama 3.1流水线。

Llama 3.1是Meta最强大的开放LLM，具有灵活性和先进能力。Meta工程师在AI Infra @ Scale 2024上讨论了构建和推出Llama 3的每个步骤。Meta的产品总监Joe Spisak和软件工程师Delia David讨论了与GenAI相关的数据问题。Meta的软件工程师Kaushik Veeraraghavan讨论了Meta如何规模化训练Llama。Meta的生产工程师Ye（Charlotte）Qia讨论了Meta如何处理Llama的推理。

Meta发布了Llama 3.1系列模型，包括最大的405B模型和两个较小的模型。然而，部署这些模型需要大量的计算资源。为了解决这个问题，Nvidia成功地将Llama 3.1 8B模型剪枝和蒸馏成Llama-3.1-Minitron 4B模型，其性能优于类似大小的开源模型。这种开发小型语言模型（SLM）的趋势旨在实现成本效益的部署。

7月，AI领域推出多款小模型和超大模型。hyper.ai官网提供Mistral Large 2和Llama 3.1的使用教程及中文微调数据集DPO-zh-en-emoji，更新内容包括优质教程、公共数据集和社区文章，助力AI研究与应用。

扎克伯格的Meta公司通过开源AI模型Llama 3.1取得显著进展，第二季度营收达390.71亿美元，净利润134.65亿美元。尽管AI投资回报需时，Meta在社交技术和智能眼镜领域的布局显示出潜力。扎克伯格希望AI能重塑社交网络，并计划推出更先进的AR眼镜，Meta在AI和元宇宙领域的双重布局使其在行业中占据有利位置。

OpenAI推出的GPT-4o mini在性能上超越了GPT-3.5 Turbo，且价格更具竞争力。Meta发布的Llama 3.1小模型也表现出色，显示出小模型在特定任务上的高性价比。小模型因其低成本和高效能，逐渐成为AI发展的新趋势，适用于移动设备和特定领域应用，证明了“小而美”的价值。

ollama v0.3已发布，支持最新的Llama 3.1模型，参数大小为8B、70B和405B。它还支持Mistral Large 2，具有更强大的代码生成、数学、推理等能力。更多详情和下载请访问https://github.com/ollama/ollama/releases/tag/v0.3.0。

Meta在Amazon Bedrock上线Llama 3.1模型，支持128K上下文长度，容量是Llama 3模型的16倍。Llama 3.1在行业基准测试中表现出色，提供多语言对话用例推理效率。