DEV Community
·
在Kubernetes上使用KubeAI实现Infinity嵌入
💡
原文英文，约200词，阅读约需1分钟。
📝
内容提要
KubeAI最近合并并发布了支持Infinity的PR，允许用户在Kubernetes集群上通过OpenAI兼容API获取嵌入。Infinity是一种高性能、低延迟的嵌入引擎。用户需在K8s集群上安装KubeAI和模型，并通过本地端口转发服务来使用。未来计划支持基于Infinity指标的自动扩展。
🎯
关键要点
- KubeAI最近合并并发布了支持Infinity的PR，添加了Infinity作为嵌入引擎。
- 用户可以在Kubernetes集群上通过OpenAI兼容API获取嵌入。
- Infinity是一种高性能、低延迟的嵌入引擎。
- 用户需在K8s集群上安装KubeAI和模型，并通过本地端口转发服务来使用。
- 未来计划支持基于Infinity指标的自动扩展。
➡️
