RuiJi.Net是一个分布式部署的爬虫框架,使用C#开发,旨在自动更新检查和抓取大量网站。它支持自管理Cookie,可以维护不同浏览器标识的Cookie,并且支持使用抓取服务器上的IP进行轮询抓取和使用代理服务器。它还具有自己的抽取模型RuiJi Expression,可以定义抽取模型并对元数据进行清洗。使用RuiJi表达式可以存储为文本文档、数据库和高速缓存中。使用RuiJi.Net可以使用本地IP、指定IP或代理进行抓取,并可以提取URL和标题。
完成下面两步后,将自动完成登录并继续当前操作。