微软与NVIDIA推出Dynamo第二部分，旨在提升Azure Kubernetes Service上大语言模型的推理效率。新功能包括自动资源规划和动态扩展，帮助开发者快速配置GPU资源。Dynamo Planner Profiler与基于SLO的Dynamo Planner协同优化GPU分配，以满足流量变化下的服务水平目标。

OpenTelemetry是分析应用性能的工具，通过追踪和记录数据帮助理解软件运作。文章探讨了在Azure Kubernetes Service中使用OpenTelemetry的过程，虽然最初避免使用Collector，但最终发现其在数据处理和管理上的优势。

本文介绍了如何在Azure Kubernetes Service (AKS)中使用Azure Policy确保合规性。Azure Policy通过定义业务规则来管理资源的合规状态。文章详细说明了如何使用Terraform启用Azure Policy、应用政策并测试合规性，最后展示了如何在Azure门户中检查合规状态。

Azure Kubernetes Service (AKS)提供了由Karpenter驱动的节点自动配置（NAP），根据工作负载需求自动配置和扩展AKS集群中的节点。它通过根据需要添加或缩减节点来确保资源利用和成本节约。NAP无缝集成到Azure中，提供了成本效益的扩展、易于使用的节点管理和自动节点池管理。底层技术Karpenter以其快速配置和多云灵活性而闻名。推荐使用AKS NAP的Azure用户希望获得完全托管的服务，能够动态适应工作负载变化。

Azure Fluid Relay (AFR)服务使用Nodejs和Azure Kubernetes Service构建实时协作体验。它利用Azure Monitor Managed Service for Prometheus收集和分析指标，确定集群负载并限制额外的流量。Loadfeedback服务查询Prometheus端点以评估集群负载并设置CPU使用率的阈值。AFR还利用水平Pod扩展（HPA）和Azure Front Door（AFD）进行流量路由和负载均衡。当集群已满时，AFD将流量重定向到下一个可用的集群。