用爬蟲作為Dify的知識庫：Firecrawl / Using a Web Crawler as Dify's Knowledge Base: Firecrawl

Dify结合Coolcrawl替代Firecrawl，能够高效抓取内网数据。

Firecrawl专为大型语言模型设计，自动抓取并清理网站内容。

Coolcrawl可自架设，使用Docker Compose搭建。

Dify知识库更新困难，爬虫抓取数据更为高效。

Firecrawl无需网站地图，自动抓取网站及子页面。

Coolcrawl是Firecrawl的分支，支持自架设但缺少某些功能。

使用Docker Compose架设Coolcrawl只需简单配置。

在Dify中设置Coolcrawl作为知识库需要输入API Key和Base URL。

爬虫抓取的数据会被转换成Markdown格式，便于后续处理。

Dify的知识库内容不自动更新，需要手动同步。

使用sitemap.xml可以帮助爬虫找到子页面。

Dify的开发方向不重视知识库改进，鼓励使用外部工具。

Dify推出External Knowledge API功能，支持AWS Bedrock等作为知识库。