小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
KServe加入CNCF,标准化Kubernetes上的AI模型服务

KServe在KubeCon+CloudNativeCon北美大会上被CNCF接受为孵化项目,展示了Kubernetes在AI计算中的重要性。KServe提供标准化的模型服务,支持多种框架,具备智能路由和自动扩展功能,适用于预测和生成AI。该项目自2019年启动,现有19名维护者和300多名贡献者。

KServe加入CNCF,标准化Kubernetes上的AI模型服务

The New Stack
The New Stack · 2025-11-26T20:00:21Z
KServe成为CNCF孵化项目

CNCF技术监督委员会已将KServe接受为孵化项目。KServe是一个标准化的分布式AI推理平台,支持Kubernetes上的多框架部署,旨在满足企业级AI工作负载需求。该项目自2019年起由多家公司合作开发,2022年独立,2025年加入CNCF,广泛应用于多个行业,支持生成和预测AI工作负载。

KServe成为CNCF孵化项目

Cloud Native Computing Foundation
Cloud Native Computing Foundation · 2025-11-11T14:00:00Z
构建高效的云原生大语言模型推理框架:KServe、vLLM、llm-d 和 WG Serving

云原生大语言模型推理的四个框架(KServe、vLLM、llm-d、WG Serving)推动了推理系统的标准化与模块化。通过分层协作和标准接口,开发者能够实现高性能、低成本的推理服务,促进AI架构的创新与应用。

构建高效的云原生大语言模型推理框架:KServe、vLLM、llm-d 和 WG Serving

云原生
云原生 · 2025-11-08T05:21:59Z
宣布KServe v0.15:推动生成AI模型服务

KServe v0.15发布,增强了对生成AI模型的支持,新增多节点推理、LLM自动扩展和分布式KV缓存功能,提高了服务效率和可扩展性。

宣布KServe v0.15:推动生成AI模型服务

Cloud Native Computing Foundation
Cloud Native Computing Foundation · 2025-06-18T15:00:00Z
您是否正在尝试在 Kubernetes 上大规模管理 AI 工作负载?也许正在部署复杂的 AI 堆栈,如 Kubeflow 和 KServe?以下是 Sveltos 如何实现多集群、GitOps 驱动的 MLOps

Sveltos 提供多集群、GitOps 驱动的 MLOps 解决方案,旨在高效管理 Kubernetes 上的 AI 工作负载,适合复杂的 AI 堆栈部署。

您是否正在尝试在 Kubernetes 上大规模管理 AI 工作负载?也许正在部署复杂的 AI 堆栈,如 Kubeflow 和 KServe?以下是 Sveltos 如何实现多集群、GitOps 驱动的 MLOps

DEV Community
DEV Community · 2025-05-08T16:56:33Z
KServe 提供商在云和数据中心中提供灵活的推理服务

NVIDIA NIM与KServe集成,简化企业部署生成式AI。KServe是基于Kubernetes的开源工具包,可自动将AI模型应用于云计算应用。NIM通过API调用,使生成式AI可以像其他大型企业应用程序一样部署。NIM与Canonical、Nutanix和Red Hat等平台集成,扩展了NVIDIA的技术。KServe是Kubernetes的扩展,支持多种AI框架。NVIDIA计划成为KServe的积极贡献者,并在开源软件领域继续贡献。

KServe 提供商在云和数据中心中提供灵活的推理服务

NVIDIA Blog
NVIDIA Blog · 2024-06-02T13:14:59Z

KServe是一个在Kubernetes上的推理平台,专为高度可扩展的场景而构建。它支持现代Serverless推理工作负载,可以在任意框架上提供机器学习模型服务。KServe提供高性能、高度抽象的接口,支持常见的ML框架,并封装了自动缩放、网络、健康检查和服务配置的复杂性。KServe考虑使用Fluid来提供弹性支持,Fluid是一个开源的Kubernetes原生的分布式数据集编排和加速引擎,可以服务于云原生场景下的数据密集型应用。阿里云容器服务团队和KServe、Fluid社区一起探索在阿里云Serverless Kubernetes平台上支持大型语言模型的简单、方便、高性能、生产级别的部署。他们提供了一些实践步骤,包括开启KServe on ASM功能、安装ACK-Fluid并开启AI模型缓存加速、部署AI模型推理服务等。最后,他们进行了性能基准测试,发现Fluid可以大幅提升KServe的冷启动速度,特别是在大型语言模型的场景下。

KServe + Fluid 加速大模型推理

阿里云云栖号
阿里云云栖号 · 2023-06-28T06:53:48Z

此存储库包含一个完全可部署的环境,用于使用 Apache Airflow、MLFlow 和 KServe 执行 MLOps。 我们假设您具有以下条件: 访问具有至少 4 个 CPU 内核和 20Gb 的 Kubernetes 1.22+ 集群 用作功能存储和工件存储的 Azure 存储帐户 您机器上最新版本的 Anaconda Kubectl 必须安装在你的机器上 ...

mlflow + airflow + kserve的MLOps设置案例

极道
极道 · 2022-09-15T01:13:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码