Cloudflare推出了isitagentready.com工具,帮助网站优化以适应AI代理。分析显示,大多数热门网站的代理准备度不高。该工具提供评分和反馈,鼓励网站采用新标准,如robots.txt和内容信号,以提升与AI代理的互动。网站所有者可以通过该工具了解如何提高代理友好性。
Cloudflare推出“代理的Markdown”功能,允许AI爬虫请求网页的Markdown版本,并提出“内容信号”机制,让出版商声明内容是否可用于AI训练。这一举措引发了关于网络是否应为AI代理重构的争论。Cloudflare认为Markdown比HTML更高效,许多出版商开始限制AI爬虫的访问,随着更多出版商探索付费模式,关于同意、补偿和技术适应的讨论将加剧。
完成下面两步后,将自动完成登录并继续当前操作。