KubeAI最近合并并发布了支持Infinity的PR,允许用户在Kubernetes集群上通过OpenAI兼容API获取嵌入。Infinity是一种高性能、低延迟的嵌入引擎。用户需在K8s集群上安装KubeAI和模型,并通过本地端口转发服务来使用。未来计划支持基于Infinity指标的自动扩展。
我们需要的是在 Kubernetes 上构建和管理边缘机器学习应用程序的一致方法,一种可以加快开发和交付速度的方法。这就是 KAN 的作用,即 KubeAI Application Nexus。正如介绍性博客文章所指出的那样,这个名字来自一个普通话动词,翻译为“观看”或“看”。KAN 是一个开源项目
完成下面两步后,将自动完成登录并继续当前操作。