Databricks推出了定制模型服务平台，旨在简化机器学习模型的生产过程，降低复杂性和成本。该平台通过自动扩展器实时调整资源，以应对流量变化，确保高效运行，并支持多种模型，简化部署和维护，降低冷启动时间，提高服务性能。

AWS推出全新的OpenSearch Serverless，支持在闲置时缩减至零，降低成本60%。新架构分离存储与计算，具备快速自动扩展能力。未来将增加长期记忆功能和日志分析，提升搜索能力。

在数据、应用和人工智能大会上，Databricks分享了构建可靠LLM推理基础设施的经验。为应对日益增长的推理需求，确保系统的可靠性和低延迟至关重要。通过动态路由和自动扩展技术，Databricks优化了资源利用，显著提升了处理能力和效率，并改进了多模态请求的处理，增强了系统整体性能。

KEDA 通过自定义 DaemonSet 解决 Kubernetes 中 GPU 工作负载的自动扩展问题。它利用 NVIDIA 管理库 (NVML) 收集 GPU 指标，如利用率、内存和功耗，并通过 gRPC 提供给 KEDA 操作员，从而实现基于 GPU 性能的自动扩展。这种方法提高了资源利用率，降低了能耗，适用于多种 GPU 工作负载。

DigitalOcean推出基于请求的自动扩展功能，允许应用根据实时HTTP流量自动调整资源。此功能适用于共享和专用CPU实例，用户可根据请求数和响应时间设置扩展规则，以提升应用性能并节省成本。用户可以在控制台查看流量模式并配置自动扩展。

Kubernetes团队常面临资源过度配置的问题，尤其在高峰流量时。尽管有优化建议，团队因信任现有方式而不愿改变。请求与自动扩展（HPA）之间的关系复杂，调整请求可能影响扩展行为，导致不稳定。有效优化需同时调整请求和HPA目标，并建立信任与可见性，以确保团队在变更时感到安全。

数据库分支架构通过完全分离计算与存储，实现高效环境创建。每个分支独立运行，支持快速恢复和自动扩展，适合开发、测试及AI任务，简化工作流程。

微软Azure Kubernetes Service团队发布了Anyscale管理的Ray服务运行指导，解决了GPU容量限制、ML存储分散和凭证过期问题。新版本RayTurbo支持智能自动扩展和故障容错训练，团队通过多集群设置跨区域聚合GPU配额，利用Azure BlobFuse2简化数据传输，并通过新身份验证方法提升安全性。

Lakebase通过自动扩展实现零规模优势，系统在无活动时可暂停计算实例，费用降至零。新连接到来时，数据库迅速恢复，适合开发环境，月度计算成本可减少70%以上。自动扩展简化操作，提供可预测性能，提升云的可扩展性。

Elastic Cloud Serverless 是一种新架构，提供稳定的 API，无需版本管理和升级。与传统 Elastic Cloud 相比，Serverless 自动扩展，适合大规模生产工作负载，用户可以专注于数据和应用，无需担心集群操作。

Elastic Cloud Serverless在微软Azure上扩展至八个地区，提供快速、安全的无基础设施管理解决方案，具备自动扩展、99.95%可用性和基于使用的定价模型，用户可轻松启动和扩展项目。

Vercel 现已支持 Koa 应用程序，这是一种简洁的 HTTP 中间件框架，便于开发 Web 应用和 API。Koa 应用可根据流量自动扩展，并按需付费。

蒙特利尔已加入Vercel全球交付网络，提升中加地区性能并降低延迟。该区域现支持Vercel Functions，实现资源优化和自动扩展。

Kubernetes 1.35正式推出“就地Pod调整大小”功能，允许在运行中的Pod内动态调整CPU和内存资源，提升资源利用率和灵活性。该功能支持无中断调整，适合延迟敏感的工作负载，增强了自动扩展能力。

谷歌云的Elastic Cloud Serverless在新加坡、伦敦、法兰克福和荷兰四个新地区上线，全球总计10个地区。该服务具备自动扩展的无状态架构，支持最新AI和搜索功能，简化管理并提升性能，适合处理大数据和复杂查询。

Dapr是一个开源项目，旨在简化微服务开发，解决分布式系统中的挑战。它提供可观察性，自动处理消息传递和服务通信，减轻开发者负担。与KEDA结合后，Dapr实现动态自动扩展，提高开发效率。

AI代理正从简单助手发展为复杂的多代理系统，但面临部署瓶颈。Kubernetes和Terraform提供了可扩展的解决方案，支持云原生AI系统的构建与部署。通过Python和Docker，可以创建和容器化AI代理，利用Terraform定义基础设施，以确保高可用性和自动扩展。

谷歌推出GKE代理沙箱，解决AI代理权限提升问题，确保LLM生成代码在隔离环境中运行。同时，GKE推理网关优化AI工作负载，降低延迟，提高效率，新增快速自动扩展和Pod快照功能，增强大规模AI任务处理能力。

Vercel 现已支持 TanStack Start 应用，这是一个基于 TanStack Router 的全栈框架。用户可以创建新应用或在现有项目中添加 nitro() 以便轻松部署。TanStack Start 应用默认使用 Fluid compute，根据流量自动扩展，用户仅需为实际使用付费。

Vercel 现已支持 Fastify 应用程序，这是一种注重开发者体验的网络框架，具备零配置和强大的插件架构，能够根据流量自动扩展，用户仅需为实际使用付费。