Kthena是Volcano社区推出的子项目,旨在为全球开发者和MLOps工程师提供高效的云原生大语言模型推理调度解决方案。它通过拓扑感知调度和智能路由优化GPU/NPU资源利用,降低延迟,简化Kubernetes上大语言模型的部署。Kthena支持多模型管理和动态扩展,提高AI生命周期的整体效率。
完成下面两步后,将自动完成登录并继续当前操作。