该项目收集了各大公司的AI爬虫名称，建议网站管理员屏蔽这些爬虫以保护网站内容，减少服务器压力，且不影响网站正常运行。尽管允许爬虫抓取有助于AI发展，但大多数大型出版商选择不允许。