小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
NVIDIA Dynamo Planner为多节点大语言模型推理带来基于SLO的自动化

微软与NVIDIA推出Dynamo第二部分,旨在提升Azure Kubernetes Service上大语言模型的推理效率。新功能包括自动资源规划和动态扩展,帮助开发者快速配置GPU资源。Dynamo Planner Profiler与基于SLO的Dynamo Planner协同优化GPU分配,以满足流量变化下的服务水平目标。

NVIDIA Dynamo Planner为多节点大语言模型推理带来基于SLO的自动化

InfoQ
InfoQ · 2026-01-31T09:00:00Z
连接点滴:OpenTelemetry 初学者指南

OpenTelemetry是分析应用性能的工具,通过追踪和记录数据帮助理解软件运作。文章探讨了在Azure Kubernetes Service中使用OpenTelemetry的过程,虽然最初避免使用Collector,但最终发现其在数据处理和管理上的优势。

连接点滴:OpenTelemetry 初学者指南

DEV Community
DEV Community · 2024-11-19T20:25:03Z
在AKS集群中使用Terraform集成Azure Policy

本文介绍了如何在Azure Kubernetes Service (AKS)中使用Azure Policy确保合规性。Azure Policy通过定义业务规则来管理资源的合规状态。文章详细说明了如何使用Terraform启用Azure Policy、应用政策并测试合规性,最后展示了如何在Azure门户中检查合规状态。

在AKS集群中使用Terraform集成Azure Policy

DEV Community
DEV Community · 2024-11-08T20:46:12Z
深入了解AKS NAP:Azure Kubernetes服务节点自动配置(由Karpenter驱动)🚀

Azure Kubernetes Service (AKS)提供了由Karpenter驱动的节点自动配置(NAP),根据工作负载需求自动配置和扩展AKS集群中的节点。它通过根据需要添加或缩减节点来确保资源利用和成本节约。NAP无缝集成到Azure中,提供了成本效益的扩展、易于使用的节点管理和自动节点池管理。底层技术Karpenter以其快速配置和多云灵活性而闻名。推荐使用AKS NAP的Azure用户希望获得完全托管的服务,能够动态适应工作负载变化。

深入了解AKS NAP:Azure Kubernetes服务节点自动配置(由Karpenter驱动)🚀

DEV Community
DEV Community · 2024-09-20T06:50:50Z

本文介绍了在Azure Kubernetes Service(AKS)中安全管理秘密的方法,包括集成Azure Key Vault和AKS、启用Secret Store CSI Driver以及使用VM Managed Identities和User Assigned Identities。通过这些方法可以提高Kubernetes Secrets的安全性。

在 AKS 中保护 Kubernetes Secrets:使用 Azure Key Vault 结合托管和用户分配身份

DEV Community
DEV Community · 2024-09-04T11:35:22Z
使用托管 Prometheus 优化 Azure Fluid Relay 的负载

Azure Fluid Relay (AFR)服务使用Nodejs和Azure Kubernetes Service构建实时协作体验。它利用Azure Monitor Managed Service for Prometheus收集和分析指标,确定集群负载并限制额外的流量。Loadfeedback服务查询Prometheus端点以评估集群负载并设置CPU使用率的阈值。AFR还利用水平Pod扩展(HPA)和Azure Front Door(AFD)进行流量路由和负载均衡。当集群已满时,AFD将流量重定向到下一个可用的集群。

使用托管 Prometheus 优化 Azure Fluid Relay 的负载

Microsoft 365 Developer Blog
Microsoft 365 Developer Blog · 2024-09-03T16:51:35Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码