该文章讨论了禁止人工智能蜘蛛抓取网站内容的方法，包括使用robots文件禁止GPTBot和Google-Extended。作者认为禁止AI蜘蛛对于小博客的流量回报可能性不大，而大公司还需要考虑版权和隐私等问题。

谷歌的AI抓取新规引发讨论，网站可通过robots文件禁止AI蜘蛛抓取。与搜索引擎不同，AI抓取未必带来流量回报。大网站已开始禁止GPTBot，AI的未来影响尚不确定。