NVIDIA的推理软件栈通过与GPU、CPU和开源生态系统的协同，显著降低了每个令牌的成本。使用TensorRT-LLM和Dynamo框架，企业如Baseten和Cognition实现了高达50%的令牌输出提升，优化了生产操作并降低了成本。开源生态系统使新模型如DeepSeek V4能够快速部署并进一步降低成本。

本文讨论了在开源生态系统中实现更高包容性的进展与目标，强调通过具体行动促进无障碍性，并鼓励读者参与这一进程。

本月通讯介绍了ASF社区的机会，包括2026年“社区优先”会议的演讲征集和新活动“湖屋日EU”。还提到Apache Geode 2.0的进展及Apache Ozone的成功案例。FOSDEM和EU开源周讨论了数字主权和开源生态系统的可持续性，强调合作与创新的重要性。

计算治理是AI扩展的关键瓶颈。Dynamia专注于将GPU作为基础资源，推动治理和经济管理。我将担任开源生态系统副总裁，致力于AI基础设施的长期发展。

文章讨论了人工智能（AI）工程及其在生产中的应用，重点介绍大型语言模型（LLMs）和智能代理应用。内容涉及云原生基础设施、开发文化和开源生态系统，提供实用教程和示例，帮助工程师将概念转化为可重复的工作流程，适合开发者和产品团队使用。

在本期播客中，Shane Hastie与Chad Whitacre探讨了“开源承诺”，旨在鼓励企业经济支持开源维护者，以确保软件的可持续性和安全性，强调企业应回馈开源软件的创造者，解决开源生态系统中的社会契约问题。

开源生态系统是全球开发者合作开发软件的动态空间。开源开发者支持网络（OSDSNs）为沟通、协作和创新提供基础设施，促进社区建设和资源共享。尽管存在互动和沟通障碍，OSDSNs对开源项目的成功和可持续性至关重要。

NVIDIA加速了Microsoft的Phi-3 Mini开放语言模型，并使用NVIDIA TensorRT-LLM进行优化。Phi-3 Mini具有10倍大模型的能力，可用于研究和商业用途。Phi-3 Mini有两个变体，一个支持4k tokens，另一个支持128K tokens。开发者可以在ai.nvidia.com上尝试Phi-3 Mini，并在Jetson AI Lab上学习部署。TensorRT-LLM将支持Phi-3 Mini的长上下文窗口，并提供多种优化和内核。NVIDIA是开源生态系统的积极贡献者，并与Microsoft合作加速DirectML、Azure云、生成AI研究、医疗和生命科学等创新。