使用Firecrawl和Trieve为任何网站构建搜索和RAG

本指南介绍了如何使用Firecrawl和Trieve构建SigNoz文档的搜索和RAG。

Firecrawl的REST API可以将URL上的每个页面转换为向量搜索和RAG准备好的markdown。

Trieve的API可以接收markdown文档的块，将它们嵌入到搜索索引中，并执行AI搜索和RAG。

所有使用的代码（包括node.js和Python）在GitHub上提供。

需要注册Firecrawl和Trieve以获取免费的API密钥。

使用Firecrawl将https://signoz.io/docs/上的页面转换为markdown并保存为json文件。

对markdown进行初步清理，去除多余内容并调整链接的呈现方式。

采用基线分块方法将页面分割为较小的块，保持语义一致性。

使用正则表达式递归分割较长的markdown内容，确保块的长度和深度符合要求。

为Trieve准备的块包括各种元数据和标签，以便于搜索和过滤。

使用Trieve的api/chunk路由将块存储到Trieve中以进行搜索和RAG。

在Trieve的Playgrounds中测试搜索和RAG的质量，查看数据和初步清理的效果。

提供多种搜索类型（如语义、全文、混合）和分组搜索的功能。

HyDE是一种检索方法，通过生成假设文档来提高检索精度。

Firecrawl和Trieve是快速构建搜索和RAG系统的强大组合。