FastEmbed 是一个可在 CPU 上生成文本嵌入的 Python 库,无需 GPU、PyTorch 或 API 密钥。教程演示了如何用 qdrant-client 配合 FastEmbed 对文档进行嵌入、索引和搜索。默认模型 BAAI/bge-small-en-v1.5 为量化 ONNX 文件,输出 384 维向量。客户端在本地进程运行 FastEmbed,自动嵌入文档和查询。此外还支持稀疏、多向量、图像嵌入及重排序,并可通过 fastembed-gpu 扩展。
FastEmbed通过并行处理优化文档处理速度,用户可设置工作线程数量和批处理大小以提高吞吐量和内存使用效率。支持懒加载以节省内存,并可在多个GPU上分配工作负载。配置示例包括设置Qdrant Client的批处理参数和启用GPU加速。
完成下面两步后,将自动完成登录并继续当前操作。