小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
从IDC到云上GPU:基于 Amazon EKS 的大模型推理混合云弹性部署实践

本文介绍了基于Amazon EKS和NVIDIA NIM的混合云大模型推理架构,强调本地GPU优先和云上弹性扩展的策略。通过KEDA和Karpenter实现自动扩缩容,优化成本和性能,满足中国客户需求。该方案解决了延迟、数据本地化和成本问题,提供统一监控和最佳实践,帮助企业有效利用现有GPU资源。

从IDC到云上GPU:基于 Amazon EKS 的大模型推理混合云弹性部署实践

亚马逊AWS官方博客
亚马逊AWS官方博客 · 2026-04-24T06:02:50Z

本文探讨了推理服务层的构建与优化,重点在多模型环境中实现高效资源管理和请求处理。内容涵盖服务层选型、自动扩缩容、LoRA多租户热加载及灾备策略。通过实际案例分析,指出生产环境中的常见挑战及解决方案,强调推理服务的稳定性和可维护性。

【大模型基础设施工程】21:推理服务化

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-04-22T00:00:00Z
为什么自动扩缩容可能会导致 RTC 通话中断(以及如何修复它)

自动扩缩容在实时通信(RTC)应用中面临挑战,传统方法可能导致通话中断。RTC应用需区分无状态的Web层与有状态的媒体层,后者扩展较难。应关注应用级指标,避免在流量低谷时随意缩容,以免影响用户体验。有效的服务发现机制和流量迁移逻辑是确保稳定性的关键。

为什么自动扩缩容可能会导致 RTC 通话中断(以及如何修复它)

实时互动网
实时互动网 · 2026-03-13T03:51:36Z
SlimFaas,轻量级、即插即用的 Function-as-a-Service 平台

SlimFaas 是一个轻量级的 FaaS 平台,专为 Kubernetes 和 Docker/Podman Compose 设计,支持自动扩缩容。基于 .NET 构建,采用 AOT 编译,确保高性能和低资源占用。SlimFaas 具备智能扩缩容和内置指标系统,能够动态响应流量,适用于多种执行模式和数据管理,满足不同用例需求。

SlimFaas,轻量级、即插即用的 Function-as-a-Service 平台

dotNET跨平台
dotNET跨平台 · 2026-02-20T00:00:47Z
Knative终于从CNCF毕业

Knative正式从云原生计算基金会毕业,旨在简化Kubernetes上的无服务器应用部署与管理。其核心组件Serving和Eventing支持自动扩缩容,降低成本,提高效率,已被多家云服务商采用,预计将成为AWS Lambda和Azure Functions的强劲竞争者。

Knative终于从CNCF毕业

The New Stack
The New Stack · 2025-11-12T23:00:48Z
Kubernetes Serverless 架构概述

Serverless 架构在 Kubernetes 生态中促进了云原生应用的敏捷开发,具备无服务器管理、自动扩缩容、按需付费和事件驱动等特点,简化基础设施管理,提高资源利用率,适用于多种业务场景。合理配置可降低成本并提升性能。

Kubernetes Serverless 架构概述

云原生
云原生 · 2025-10-18T16:00:00Z
Kubernetes 调度与资源管理

Kubernetes通过灵活的调度和资源管理,实现高效的工作负载分配和资源利用。文章重点介绍了调度流程、资源分配和自动扩缩容等核心内容,以提升集群的性能和可靠性。

Kubernetes 调度与资源管理

云原生
云原生 · 2025-10-13T00:00:00Z
基于开源工具构建 EMR 数据分析平台(五)EMR 最佳实践

Amazon EMR 是一个托管的大数据集群平台,支持 Apache Hadoop 和 Spark,简化数据分析管理。它提供灵活的定价和集群规模调整,确保数据安全,支持多种管理界面。用户可选择不同版本和节点类型,以优化性能和成本,并支持自动扩缩容,适应各种工作负载需求。

基于开源工具构建 EMR 数据分析平台(五)EMR 最佳实践

亚马逊AWS官方博客
亚马逊AWS官方博客 · 2025-05-30T00:38:49Z
提升 EKS 集群网络安全:Pod 自定义网络和 Karpenter 的协同应用

本文介绍了基于EKS Pod自定义网络和Karpenter的解决方案,实现特定业务Pod的子网隔离和高性能集群管理。

提升 EKS 集群网络安全:Pod 自定义网络和 Karpenter 的协同应用

亚马逊AWS官方博客
亚马逊AWS官方博客 · 2024-08-30T06:28:33Z
餐饮业的“过山车”与亚马逊云上的“智能驾驶”–美餐集团 Amazon Aurora Serverless v2 的应用实践与思考

美餐集团应对在线订餐平台负载挑战,采用Aurora Serverless v2数据库解决方案,实现自动扩缩容,提高资源利用效率和服务质量。通过混合架构模式降低成本,提升数据库性能和稳定性。工作日成本降低30%以上,周末成本降低50%以上。

餐饮业的“过山车”与亚马逊云上的“智能驾驶”–美餐集团 Amazon Aurora Serverless v2 的应用实践与思考

亚马逊AWS官方博客
亚马逊AWS官方博客 · 2024-07-02T04:29:52Z

本文介绍了容器化技术的发展历史,从文件隔离到隔离访问、隔离资源、封装系统、封装应用、封装集群和封装容器服务。随着云计算的普及,容器化技术也开始步入云服务时代。通过使用云服务提供的容器化能力,可以简化管理、快速部署和自动扩缩容。容器化技术将继续引领软件行业的发展。

从容器的发展历史理解容器的本质

良许Linux教程网
良许Linux教程网 · 2024-03-16T13:25:45Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码