小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
KServe加入CNCF,标准化Kubernetes上的AI模型服务

KServe在KubeCon+CloudNativeCon北美大会上被CNCF接受为孵化项目,展示了Kubernetes在AI计算中的重要性。KServe提供标准化的模型服务,支持多种框架,具备智能路由和自动扩展功能,适用于预测和生成AI。该项目自2019年启动,现有19名维护者和300多名贡献者。

KServe加入CNCF,标准化Kubernetes上的AI模型服务

The New Stack
The New Stack · 2025-11-26T20:00:21Z
KServe成为CNCF孵化项目

CNCF技术监督委员会已将KServe接受为孵化项目。KServe是一个标准化的分布式AI推理平台,支持Kubernetes上的多框架部署,旨在满足企业级AI工作负载需求。该项目自2019年起由多家公司合作开发,2022年独立,2025年加入CNCF,广泛应用于多个行业,支持生成和预测AI工作负载。

KServe成为CNCF孵化项目

Cloud Native Computing Foundation
Cloud Native Computing Foundation · 2025-11-11T14:00:00Z
构建高效的云原生大语言模型推理框架:KServe、vLLM、llm-d 和 WG Serving

云原生大语言模型推理的四个框架(KServe、vLLM、llm-d、WG Serving)推动了推理系统的标准化与模块化。通过分层协作和标准接口,开发者能够实现高性能、低成本的推理服务,促进AI架构的创新与应用。

构建高效的云原生大语言模型推理框架:KServe、vLLM、llm-d 和 WG Serving

云原生
云原生 · 2025-11-08T05:21:59Z
宣布KServe v0.15:推动生成AI模型服务

KServe v0.15发布,增强了对生成AI模型的支持,新增多节点推理、LLM自动扩展和分布式KV缓存功能,提高了服务效率和可扩展性。

宣布KServe v0.15:推动生成AI模型服务

Cloud Native Computing Foundation
Cloud Native Computing Foundation · 2025-06-18T15:00:00Z
您是否正在尝试在 Kubernetes 上大规模管理 AI 工作负载?也许正在部署复杂的 AI 堆栈,如 Kubeflow 和 KServe?以下是 Sveltos 如何实现多集群、GitOps 驱动的 MLOps

Sveltos 提供多集群、GitOps 驱动的 MLOps 解决方案,旨在高效管理 Kubernetes 上的 AI 工作负载,适合复杂的 AI 堆栈部署。

您是否正在尝试在 Kubernetes 上大规模管理 AI 工作负载?也许正在部署复杂的 AI 堆栈,如 Kubeflow 和 KServe?以下是 Sveltos 如何实现多集群、GitOps 驱动的 MLOps

DEV Community
DEV Community · 2025-05-08T16:56:33Z
KServe 提供商在云和数据中心中提供灵活的推理服务

NVIDIA NIM与KServe集成,简化企业部署生成式AI。KServe是基于Kubernetes的开源工具包,可自动将AI模型应用于云计算应用。NIM通过API调用,使生成式AI可以像其他大型企业应用程序一样部署。NIM与Canonical、Nutanix和Red Hat等平台集成,扩展了NVIDIA的技术。KServe是Kubernetes的扩展,支持多种AI框架。NVIDIA计划成为KServe的积极贡献者,并在开源软件领域继续贡献。

KServe 提供商在云和数据中心中提供灵活的推理服务

NVIDIA Blog
NVIDIA Blog · 2024-06-02T13:14:59Z

KServe是一个在Kubernetes上的推理平台,专为高度可扩展的场景而构建。它支持现代Serverless推理工作负载,可以在任意框架上提供机器学习模型服务。KServe提供高性能、高度抽象的接口,支持常见的ML框架,并封装了自动缩放、网络、健康检查和服务配置的复杂性。KServe考虑使用Fluid来提供弹性支持,Fluid是一个开源的Kubernetes原生的分布式数据集编排和加速引擎,可以服务于云原生场景下的数据密集型应用。阿里云容器服务团队和KServe、Fluid社区一起探索在阿里云Serverless Kubernetes平台上支持大型语言模型的简单、方便、高性能、生产级别的部署。他们提供了一些实践步骤,包括开启KServe on ASM功能、安装ACK-Fluid并开启AI模型缓存加速、部署AI模型推理服务等。最后,他们进行了性能基准测试,发现Fluid可以大幅提升KServe的冷启动速度,特别是在大型语言模型的场景下。

KServe + Fluid 加速大模型推理

阿里云云栖号
阿里云云栖号 · 2023-06-28T06:53:48Z

此存储库包含一个完全可部署的环境,用于使用 Apache Airflow、MLFlow 和 KServe 执行 MLOps。 我们假设您具有以下条件: 访问具有至少 4 个 CPU 内核和 20Gb 的 Kubernetes 1.22+ 集群 用作功能存储和工件存储的 Azure 存储帐户 您机器上最新版本的 Anaconda Kubectl 必须安装在你的机器上 ...

mlflow + airflow + kserve的MLOps设置案例

极道
极道 · 2022-09-15T01:13:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码