KubeAI最近合并并发布了支持Infinity的PR，允许用户在Kubernetes集群上通过OpenAI兼容API获取嵌入。Infinity是一种高性能、低延迟的嵌入引擎。用户需在K8s集群上安装KubeAI和模型，并通过本地端口转发服务来使用。未来计划支持基于Infinity指标的自动扩展。