文章系统讲解高并发互联网架构:分析大流量、高可用、海量数据等挑战,提出垂直与水平伸缩方向;梳理架构演化及分层、分隔、分布式、集群、缓存、异步、冗余、自动化、安全等模式,并阐述高性能、高可用、可伸缩、可扩展、安全五大核心要素及各层技术。
自动扩缩容是带延迟的反馈控制系统,延迟会导致振荡和过冲。CPU、QPS、延迟等指标各有失效场景,需选对依据。HPA、VPA、Cluster Autoscaler独立运作,需协调。扩容受下游连接数、配额等约束,maxReplicas应由这些反推。冷启动和预热需配合就绪探针。扩缩容分钟级,需限流兜底,并主动注入故障验证配置。
美团与中国人民大学合作研究企业大规模服务的弹性伸缩技术,提出PASS系统以解决负载预测和资源分配问题。研究表明,周期性负载数据需采用多样化预测算法,在线模型在突变特征上表现不佳,而离线模型能捕捉突变但存在振幅偏差。PASS系统通过动态匹配预测算法和基于历史日志的性能模型,显著提高了QoS保障率和资源利用效率。
谷歌的Griffin论文展示了伸缩架构原理适用于大模型,参数扩展7倍,任务性能提高10%。模型增长7倍,性能只提升10%。机器学习需要更多利用计算和数据。
本文介绍了DexMV平台,通过模仿学习提升机器人在复杂手部操作任务中的表现。研究使用RealDex数据集捕捉真实手部动作,增强机器人模仿人类的能力。提出了DIME框架和DexDeform方法,结合视觉和物理学改进机器人操作技能。此外,设计了低成本的遥操作系统DexPilot,提升机器人在多样化任务中的表现。
本文介绍了使用容器网络流量指标进行弹性伸缩的方法,包括安装Prometheus插件、配置指标转换规则和验证自定义指标的可用性。通过测试HPA弹性功能,观察容器每秒接受的网络流量指标对扩缩容的影响。
我们提出了一种智能化弹性伸缩方案 AHPA,可以根据历史时序数据进行主动预测,提前扩容,避免弹性滞后。同时,会根据实时数据动态调整主动预测结果,兼容周期变动等场景。
本文将从敏捷研发团队的环境需求与痛点出发,分享如何基于云构建可弹性伸缩的自动化生成式多测试环境;更在经济效益层 ... 阅读更多
在《Kubernetes 的自动伸缩你用对了吗?》 一文中详细说明了如何使用 Kubernetes 的自动伸缩。在 Kubernetes 中弹性伸缩主要有三种:HPA、VPA、CA。本文不再详细说明,有兴趣的可以看那篇文章。这里主要来说下 Pod 水平缩放 HPA。 随着 Kubernetes v1.23 的发布,HPA 的 API 来到了稳定版...
本文翻译自 learnk8s 的 Architecting Kubernetes clusters — choosing the best autoscaling strategy,有增删部分内容。 TL;DR: 在默认设置下,扩展 Kubernetes 集群中的 pod...
背景 我们在阿里云托管的 Kubernetes 集群上部署了一套用于工商、司法等公开数据结构化处理的数据链路。该数据处理服务包含了几十个数据类型,每个数据类型作为一个 Deployment 部署,其主要功能是监听 Kafka 队列消息并做 ETL 处理后索引到 Elasticsearch。通常我们会将 Deployment 的副本数设置为其对应的 Kafka...
完成下面两步后,将自动完成登录并继续当前操作。