A社/O社/谷歌/微软联合起草拒绝AI训练声明 网站只需要添加声明即可阻止内容用于AI训练
内容提要
Anthropic、OpenAI、谷歌和微软联合起草“机器可读训练偏好信号”草案：网站可在robots.txt中添加`__usage_ai-training`规则，声明内容是否允许用于AI训练，并可灵活设置允许或禁止的目录。Anthropic已开始支持，OpenAI将在数月内实施，谷歌计划明年初支持，微软将于2027年2月1日起遵循。该声明不阻止爬虫抓取，限制抓取仍需传统robots.txt规则；训练与AI回答引用属不同用途。
延伸解读
声明与抓取限制是两回事
文章明确指出，在 robots.txt 中添加 __usage_ai-training 声明仅表达网站对内容用于 AI 训练的选择，并不会直接阻止爬虫访问网页。若要限制特定爬虫抓取，仍需依赖传统 robots.txt 规则。这意味着网站若只添加训练偏好声明，内容仍可能被爬虫抓取，只是被声明为不允许用于训练。
训练与引用用途需分别控制
文章强调，AI 训练与 AI 回答引用网页属于不同用途。微软为自家服务额外提供 AI Grounding 控制，供网站决定内容是否允许在生成回答时被引用，且仅适用于微软服务。谷歌则表示，若网站拒绝 AI 训练但未明确设置 Google-Extended，谷歌计划按拒绝 Google-Extended 规则处理，而 Google-Extended 涉及 Gemini 模型训练及部分回答参考用途。
各公司支持时间不一
该方案目前仍是互联网草案，各公司支持时间不同：Anthropic 似乎已开始支持；OpenAI 表示未来几个月内实施；谷歌计划 2027 年年初支持，具体时间待定；微软将从 2027 年 2 月 1 日起遵循。因此，网站现在添加声明后，并非所有公司会立即遵守，实际效果取决于各公司的实施进度。
Q&A
网站如何通过robots.txt声明内容不被用于AI训练？
在robots.txt中添加针对User-Agent: __usage_ai-training的规则，例如全站禁止用Disallow: /，也可用Allow或Disallow指定特定目录。
哪些AI公司支持这个训练偏好声明？各自什么时候开始？
Anthropic已开始支持；OpenAI将在未来几个月内实施；谷歌计划2027年年初支持；微软从2027年2月1日起遵循。
添加这个声明能阻止AI爬虫抓取我的网站吗？
不能。该声明仅表达内容用途选择，不直接阻止爬虫访问；要限制抓取仍需使用传统robots.txt规则。
禁止AI训练和禁止AI回答引用网页是一回事吗？
不是。训练与AI回答引用属不同用途。微软额外提供AI Grounding控制，供网站决定是否允许引用；谷歌若网站拒绝训练但未设Google-Extended，将按拒绝Google-Extended处理。
这个声明是正式标准吗？现在添加还有效吗？
目前仍是互联网草案，但微软已明确2027年2月1日起遵循，因此网站现在就可以添加声明。
如何只允许部分目录用于AI训练，其他目录禁止？
在__usage_ai-training规则中，先设Disallow: /全站禁止，再用Allow: /archive/允许特定目录，两者不冲突，实现部分允许。
