Lakebase Postgres通过自动扩展实现数据库计算资源的动态调整,其算法监控CPU使用率、内存压力及基于时间感知的HyperLogLog估算的工作集大小来确定扩展目标。系统利用VM实时调整CPU和内存,无需中断连接,支持双向扩展,并分离存储与计算,使扩展灵活高效,避免资源浪费,适应实时工作负载变化。
亚马逊推出ECS Express Mode,简化容器部署:只需提供容器镜像和IAM角色,即可获得带负载均衡、TLS、自动扩展和金丝雀部署的生产服务。它支持标准ECS任务定义,便于扩展,资源在用户账户内可完全控制,且不覆盖用户修改,删除时自动清理,减少运维负担。
Vercel现已原生支持Celery异步任务队列,任务作为Vercel函数运行并随流量自动扩展。默认结果存于运行时缓存,可配置持久后端。通过pyproject.toml声明worker,使用vercel://代理,采用Fluid计算按活跃CPU计费,自动伸缩,按需付费。
Kubernetes内置CPU和内存监控,但实际扩展决策依赖外部信号。本文介绍如何从零开始编写一个供Prometheus使用的指标导出器。导出器通过HTTP服务器在/metrics端点上暴露应用状态,Prometheus定期抓取数据。使用Go Prometheus客户端库注册指标,并通过轮询更新数据。最后,构建Docker镜像并在Kubernetes中部署,以确保Prometheus能够抓取这些指标,实现基于实际负载的自动扩展。
Vercel允许用户通过Dockerfile轻松部署容器化的HTTP服务器。只需添加Dockerfile.vercel文件,Vercel会自动构建、存储和部署镜像,并根据CPU使用情况计费。支持多种技术栈,如Go、Rails和Spring Boot,具备自动扩展和实时监控功能,简化后端服务管理。
Databricks推出了定制模型服务平台,旨在简化机器学习模型的生产过程,降低复杂性和成本。该平台通过自动扩展器实时调整资源,以应对流量变化,确保高效运行,并支持多种模型,简化部署和维护,降低冷启动时间,提高服务性能。
AWS推出全新的OpenSearch Serverless,支持在闲置时缩减至零,降低成本60%。新架构分离存储与计算,具备快速自动扩展能力。未来将增加长期记忆功能和日志分析,提升搜索能力。
在数据、应用和人工智能大会上,Databricks分享了构建可靠LLM推理基础设施的经验。为应对日益增长的推理需求,确保系统的可靠性和低延迟至关重要。通过动态路由和自动扩展技术,Databricks优化了资源利用,显著提升了处理能力和效率,并改进了多模态请求的处理,增强了系统整体性能。
KEDA 通过自定义 DaemonSet 解决 Kubernetes 中 GPU 工作负载的自动扩展问题。它利用 NVIDIA 管理库 (NVML) 收集 GPU 指标,如利用率、内存和功耗,并通过 gRPC 提供给 KEDA 操作员,从而实现基于 GPU 性能的自动扩展。这种方法提高了资源利用率,降低了能耗,适用于多种 GPU 工作负载。
DigitalOcean推出基于请求的自动扩展功能,允许应用根据实时HTTP流量自动调整资源。此功能适用于共享和专用CPU实例,用户可根据请求数和响应时间设置扩展规则,以提升应用性能并节省成本。用户可以在控制台查看流量模式并配置自动扩展。
Kubernetes团队常面临资源过度配置的问题,尤其在高峰流量时。尽管有优化建议,团队因信任现有方式而不愿改变。请求与自动扩展(HPA)之间的关系复杂,调整请求可能影响扩展行为,导致不稳定。有效优化需同时调整请求和HPA目标,并建立信任与可见性,以确保团队在变更时感到安全。
数据库分支架构通过完全分离计算与存储,实现高效环境创建。每个分支独立运行,支持快速恢复和自动扩展,适合开发、测试及AI任务,简化工作流程。
微软Azure Kubernetes Service团队发布了Anyscale管理的Ray服务运行指导,解决了GPU容量限制、ML存储分散和凭证过期问题。新版本RayTurbo支持智能自动扩展和故障容错训练,团队通过多集群设置跨区域聚合GPU配额,利用Azure BlobFuse2简化数据传输,并通过新身份验证方法提升安全性。
Lakebase通过自动扩展实现零规模优势,系统在无活动时可暂停计算实例,费用降至零。新连接到来时,数据库迅速恢复,适合开发环境,月度计算成本可减少70%以上。自动扩展简化操作,提供可预测性能,提升云的可扩展性。
Elastic Cloud Serverless 是一种新架构,提供稳定的 API,无需版本管理和升级。与传统 Elastic Cloud 相比,Serverless 自动扩展,适合大规模生产工作负载,用户可以专注于数据和应用,无需担心集群操作。
Elastic Cloud Serverless在微软Azure上扩展至八个地区,提供快速、安全的无基础设施管理解决方案,具备自动扩展、99.95%可用性和基于使用的定价模型,用户可轻松启动和扩展项目。
Vercel 现已支持 Koa 应用程序,这是一种简洁的 HTTP 中间件框架,便于开发 Web 应用和 API。Koa 应用可根据流量自动扩展,并按需付费。
蒙特利尔已加入Vercel全球交付网络,提升中加地区性能并降低延迟。该区域现支持Vercel Functions,实现资源优化和自动扩展。
Kubernetes 1.35正式推出“就地Pod调整大小”功能,允许在运行中的Pod内动态调整CPU和内存资源,提升资源利用率和灵活性。该功能支持无中断调整,适合延迟敏感的工作负载,增强了自动扩展能力。
谷歌云的Elastic Cloud Serverless在新加坡、伦敦、法兰克福和荷兰四个新地区上线,全球总计10个地区。该服务具备自动扩展的无状态架构,支持最新AI和搜索功能,简化管理并提升性能,适合处理大数据和复杂查询。
完成下面两步后,将自动完成登录并继续当前操作。