亚马逊AWS官方博客
·
OpenSearch 基于 ML Commons 插件实现自动 embedding
💡
原文中文，约7600字，阅读约需18分钟。
📝
内容提要
OpenSearch是一个开源的分布式搜索和分析套件。Amazon OpenSearch Service是一个托管服务，可轻松部署、操作和扩展OpenSearch集群，用于实时搜索、监控和分析业务和运营数据。ML Commons是一个OpenSearch插件，通过REST API调用，实现对外部机器学习（ML）算法的使用。本文提供了配置和使用ML Commons插件以及Amazon Bedrock文本嵌入模型在Amazon OpenSearch Service中的指南。还讨论了使用OpenSearch Ingest Pipelines进行数据预处理的方法。
🎯
关键要点
- OpenSearch 是开源的分布式搜索和分析套件，适用于实时搜索、监控和分析业务数据。
- Amazon OpenSearch Service 是托管服务，简化了 OpenSearch 集群的部署和操作。
- ML Commons 是 OpenSearch 插件，支持通过 REST API 调用外部机器学习算法。
- 本文提供了 ML Commons 插件的配置和使用指南，以及 Amazon Bedrock 文本嵌入模型的集成方法。
- OpenSearch Ingest Pipelines 允许在数据索引前进行数据预处理和转换。
- 创建 OpenSearch 集群时需启用精细访问控制以支持 ML Commons 插件。
- 通过 CloudFormation 配置 ML Commons 插件和连接器，确保安全组和 VPC 子网一致。
- 在 OpenSearch Dashboards 中验证 ML Commons 插件的连接器和模型状态。
- 创建索引时定义向量类型字段，并支持 KNN 算法和默认的处理管道。
- 使用 Ingest Pipelines 自动化调用 ML 模型进行文本向量化。
- 通过插入数据并查询验证向量化结果，确保数据处理的有效性。
- 集成 ML Commons 插件和外部模型服务扩展了 OpenSearch 的应用场景，提升了效率和可扩展性。
➡️
