介绍Kthena：云原生时代的大语言模型推理

Kthena是Volcano社区推出的子项目，旨在为全球开发者和MLOps工程师提供高效的云原生大语言模型推理调度解决方案。

Kthena通过拓扑感知调度和智能路由优化GPU/NPU资源利用，降低延迟，简化Kubernetes上大语言模型的部署。

Kthena支持多模型管理和动态扩展，提高AI生命周期的整体效率。

Kthena解决了在Kubernetes上高效部署大语言模型的复杂系统工程挑战。

Kthena的架构包括Kthena Router和Kthena Controller Manager两个核心组件。

Kthena提供生产级推理调度，简化管理，支持原生PD分离和拓扑感知调度。

Kthena具有智能的模型感知路由功能，支持多模型路由和可插拔算法。

Kthena实现了基于成本驱动的自动扩展，优化资源分配。

Kthena支持多种推理引擎和异构计算，能够平衡成本和服务水平目标。

Kthena内置流量控制和公平性调度，防止低优先级用户的资源饥饿。

Kthena在长系统提示场景下显著提高了吞吐量和降低了延迟。

Kthena获得了行业领导者的广泛关注和支持，标志着Volcano技术演进的重要里程碑。

Kthena的推出为开发者提供了一个开放、智能的生态系统，推动行业智能转型。