推荐一个 .NET 分布式爬虫框架

RuiJi.Net是一个分布式部署的爬虫框架，使用C#开发，旨在自动更新检查和抓取大量网站。它支持自管理Cookie，可以维护不同浏览器标识的Cookie，并且支持使用抓取服务器上的IP进行轮询抓取和使用代理服务器。它还具有自己的抽取模型RuiJi Expression，可以定义抽取模型并对元数据进行清洗。使用RuiJi表达式可以存储为文本文档、数据库和高速缓存中。使用RuiJi.Net可以使用本地IP、指定IP或代理进行抓取，并可以提取URL和标题。