本文介绍了在昇腾NPU上通过Kthena实现DeepSeek-V4模型的P/D分离推理架构。P/D分离将推理过程分为Prefill和Decode两个阶段，以优化计算资源和吞吐率。使用Mooncake Connector实现KV Cache的高效传输，Kthena的ModelRoute负责请求路由和实例发现，验证了P/D分离的可行性，并支持灵活的P/D比例调整和多实例扩展。

本文探讨了Kthena与vLLM-Ascend在云原生大模型推理中的应用，解决了Kubernetes在分布式推理中的拓扑约束和状态感知缺失问题。Kthena通过智能调度和流量管理提升了推理效率，降低了延迟，简化了部署流程，展现了大模型服务平台的未来潜力。

Kthena是Volcano社区推出的子项目，旨在为全球开发者和MLOps工程师提供高效的云原生大语言模型推理调度解决方案。它通过拓扑感知调度和智能路由优化GPU/NPU资源利用，降低延迟，简化Kubernetes上大语言模型的部署。Kthena支持多模型管理和动态扩展，提高AI生命周期的整体效率。

Volcano推出Kthena，一个专为Kubernetes设计的高性能LLM推理调度系统，旨在提高GPU/NPU资源利用率，简化多模型管理，解决资源利用率低、延迟与吞吐量难以兼顾的问题，推动云原生AI生态发展。