Qdrant - Vector Database
·
Qdrant 2024 暑期代码计划 - Python 中的 ONNX 交叉编码器
💡
原文英文，约1200词，阅读约需5分钟。
📝
内容提要
在Qdrant的实习中，我负责将交叉编码器集成到FastEmbed库中，用于重新排序任务，增强了搜索应用的上下文感知能力。我设计了支持ONNX模型的类，优化了标记化和模型加载，成功实现了集成，为未来的搜索引擎和推荐系统提供了新可能。
🎯
关键要点
- 在Qdrant的实习中，负责将交叉编码器集成到FastEmbed库中，增强搜索应用的上下文感知能力。
- 设计了支持ONNX模型的类，创建了新的输入输出方案，将文本数据转换为评分。
- FastEmbed库是轻量级的，不依赖于PyTorch或TensorFlow，适合快速集成。
- 构建新的类层次结构以支持交叉编码器，确保用户友好性。
- 处理交叉编码器的标记化，优化了ONNX模型的性能。
- 成功将ONNX模型集成到FastEmbed库中，支持批处理以提高速度。
- 在调试和代码审查中，学习了代码可读性和可维护性的重要性。
- 进行了广泛的测试，确保ONNX模型的输出与PyTorch模型一致。
- 成功添加交叉编码器功能，开启了新的搜索引擎和推荐系统的可能性。
- 未来改进方向包括扩展模型支持、优化并行处理和定制标记化。
➡️
