AI巨头联手支持一种新的退出数据抓取方式
内容提要
OpenAI、谷歌、微软和Anthropic宣布采用新标准，允许出版商通过robots.txt中的共享“政策令牌”一次性向多家AI公司声明内容不得用于训练，无需逐一设置。Anthropic已采用，谷歌和微软计划明年支持，OpenAI称将在未来数月实施。此举回应出版商对AI爬虫抓取内容的担忧。
延伸解读
共享政策令牌如何简化退出流程
新标准的核心是在网站的robots.txt文件中加入一个共享的“政策令牌”，出版商只需设置一次，就能向多家AI公司声明内容不得用于训练。此前，出版商必须逐一联系每家AI公司进行设置，流程繁琐且容易遗漏。该令牌由Anthropic技术标准负责人Kevin Kelley在IETF提出，旨在统一信号格式，降低出版商的合规成本。
各公司实施时间表不一
尽管四大AI巨头都宣布支持，但落地节奏不同。Anthropic已率先采用该信号；谷歌和微软计划明年支持；OpenAI则表示将在未来数月内实施。这意味着出版商在短期内仍需依赖现有方式，或等待各公司逐步上线。微软还提供更细粒度的控制，允许出版商分别选择退出AI训练或AI接地（grounding），但网站仍会出现在必应搜索结果中。
与其他反抓取方案形成互补
该标准并非唯一方案。文章提到，RSL标准允许出版商向爬虫收费，Cloudflare则默认阻止AI爬虫。共享政策令牌侧重于通过robots.txt统一表达退出偏好，不涉及收费或默认拦截。这些方案针对不同需求：有的侧重经济补偿，有的侧重技术阻断，而新标准试图在现有robots.txt框架内提供更便捷的集体退出机制。
对出版商的现实意义与局限
对出版商而言，该标准有望减少逐一设置退出偏好的管理负担，并降低因遗漏而导致的意外抓取风险。但文章也指出，该信号仍依赖AI公司自愿遵守，且各公司实施时间不一，短期内效果有限。此外，微软的细粒度控制表明，退出AI训练不等于从搜索结果中消失，出版商需理解不同选项的具体含义。
Q&A
哪些AI公司宣布支持新的退出数据抓取标准？
OpenAI、谷歌、微软和Anthropic宣布将采用这一新标准。
这个新标准具体是怎么工作的？
它通过在网站的robots.txt文件中加入一个共享的“政策令牌”信号，让出版商一次性向多家AI公司声明其内容不得用于AI训练，而无需逐一设置。
为什么需要这种新标准？
因为出版商对AI爬虫持续抓取网站内容并用于训练模型感到担忧，而此前他们必须分别向每家AI公司设置偏好，过程繁琐。新标准旨在简化退出流程。
各公司计划何时实施这一标准？
Anthropic已经采用；谷歌和微软计划明年支持；OpenAI表示将在未来数月内实施。
微软在支持该标准时提供了哪些额外控制？
微软将提供更细粒度的控制，允许出版商选择退出AI训练或AI接地（即引导模型指向已验证信息源以减少幻觉）。微软还指出，无论偏好如何，网站仍会出现在Bing搜索结果中。
除了这个新标准，还有哪些应对AI抓取的措施？
文章提到，Really Simple Licensing (RSL) 标准允许出版商向访问网站的爬虫收费；Cloudflare则默认阻止AI爬虫。
