使用Firecrawl和Trieve为任何网站构建搜索和RAG
原文英文，约2400词，阅读约需9分钟。
📝
内容提要
本指南介绍了如何使用Firecrawl和Trieve在Python和JS中构建SigNoz文档的搜索和RAG。使用Firecrawl的REST API将URL上的每个页面转换为向量搜索和RAG-ready markdown。然后，Trieve的API可以接收markdown文档的块，将它们嵌入到搜索索引中，并最终调用执行AI搜索和RAG。所有使用的代码（包括node.js和Python）也在GitHub上提供。
❓
Q&A
如何使用Firecrawl将网页转换为markdown格式？
使用Firecrawl的REST API，可以将指定URL上的每个页面转换为向量搜索和RAG准备好的markdown格式。
Trieve的API如何处理markdown文档？
Trieve的API接收markdown文档的块，将它们嵌入到搜索索引中，并执行AI搜索和RAG。
在使用Firecrawl和Trieve之前需要做什么准备？
需要注册Firecrawl和Trieve以获取免费的API密钥，并设置.env文件以存储这些密钥。
如何对markdown内容进行初步清理？
初步清理包括去除多余内容和调整链接的呈现方式，可以使用预先定义的清理函数。
如何将处理后的块存储到Trieve中？
使用Trieve的api/chunk路由将处理后的块以JSON格式存储到Trieve中。
Trieve的Playgrounds有什么功能？
Trieve的Playgrounds允许用户测试搜索和RAG的质量，查看数据和初步清理的效果。
🏷️
