💡
原文英文，约600词，阅读约需2分钟。
📝
内容提要
Cloudflare推出“代理的Markdown”功能，允许AI爬虫请求网页的Markdown版本，并提出“内容信号”机制，让出版商声明内容是否可用于AI训练。这一举措引发了关于网络是否应为AI代理重构的争论。Cloudflare认为Markdown比HTML更高效，许多出版商开始限制AI爬虫的访问，随着更多出版商探索付费模式，关于同意、补偿和技术适应的讨论将加剧。
🎯
关键要点
- Cloudflare推出'代理的Markdown'功能，允许AI爬虫请求网页的Markdown版本。
- 该功能配合'内容信号'机制，允许出版商声明内容是否可用于AI训练、搜索索引或推理。
- Cloudflare认为Markdown比HTML更高效，能减少AI处理所需的token数量。
- 出版商可以在robots.txt中插入信号，控制内容的使用权限。
- Cloudflare的信号仅为偏好，不具强制性，默认情况下允许AI训练和搜索。
- 一些出版商已开始限制AI爬虫的访问，探索付费模式以实现内容的货币化。
- 关于同意、补偿和技术适应的讨论将随着出版商的不同策略而加剧。
- Medium等出版商已采取措施阻止AI训练，认为AI公司在未经同意的情况下使用内容。
- Cloudflare实验了按爬取付费的模式，允许出版商对特定爬虫收费或阻止访问。
- Markdown-for-Agents是否成为广泛采用的标准取决于AI平台的反应和出版商的需求。
➡️
