构建开放的代理互联网:可读、可发现、可调用、可支付
内容提要
Cloudflare提出构建开放“代理互联网”愿景,使网站对AI代理可读、可发现、可调用、可支付。通过开放标准如Web Bot Auth、PACT、Markdown for Agents、WebMCP和x402,实现代理身份验证、高效读取、工具交互及付费访问。此举旨在让代理与网站所有者合作,避免冲突,保持互联网开放性,并解决机器人重复抓取和收入模式问题。
延伸解读
代理互联网的四大支柱
Cloudflare提出代理互联网应具备四个核心能力:可读、可发现、可调用、可支付。可读指代理能以高效方式读取内容,如通过Markdown for Agents减少token消耗;可发现指代理能通过AI搜索和AEO找到资源;可调用指通过WebMCP等标准让代理直接调用网站功能;可支付则通过x402等实现按次付费。这四者共同构成代理与网站协作的基础。
开放标准与中立性
文章强调所有工具都基于开放标准,如x402、MCP、Web Bot Auth和PACT,任何公司都可实现。Cloudflare自称为“Customer Zero”,没有特权API,旨在保持中立。这避免了少数公司垄断代理互联网的入口,确保生态多样性,防止形成新的围墙花园。
代理带来的商业模式变革
传统广告和订阅模式在代理时代面临挑战,因为代理不渲染广告,也不按席位付费。文章提出按次付费模式,如食谱网站每次抓取收费几分钱即可盈利,本地报纸可按阅读次数授权。这为内容创作者提供了新的收入来源,同时代理有预算和钱包,交易透明可追溯。
代理行为的分类与治理
文章指出代理行为并非全好或全坏,而是分为可取的(如高效读取、按规则交互、付费)和不可取的(如无补偿抓取、绕过封锁)。Cloudflare希望通过提供工具,让网站所有者能区分并支持好代理,阻止坏代理,从而减少冲突,促进合作。
Q&A
Cloudflare提出的“代理互联网”愿景是什么?
Cloudflare提出构建一个开放的“代理互联网”,使网站对AI代理可读、可发现、可调用、可支付,通过开放标准实现代理与网站所有者的合作,避免冲突,保持互联网的开放性。
Cloudflare提出了哪些开放标准来支持代理互联网?
Cloudflare提出的开放标准包括Web Bot Auth(代理身份验证)、PACT(私有访问控制令牌)、Markdown for Agents(高效读取)、WebMCP(工具交互)和x402(支付)。
Web Bot Auth和PACT是如何工作的?
Web Bot Auth允许机器人以加密方式向网站标识自己,使发布者能决定是否欢迎。PACT允许网站匿名担保代理,使合法代理在其他地方获得访问权限,减少摩擦。
Markdown for Agents和WebMCP分别解决什么问题?
Markdown for Agents让代理以更少的令牌和带宽读取网站内容,提高效率。WebMCP允许网站直接向代理暴露操作,避免解析HTML和猜测表单,使交互更可靠。
x402协议在代理互联网中扮演什么角色?
x402是支付协议,允许代理直接向商家支付,实现按次付费或按API调用付费,为内容创作者提供新的收入模式。
Cloudflare如何帮助网站所有者控制AI代理的访问?
Cloudflare提供工具让网站所有者选择支持或阻止特定AI代理,例如允许付费代理而阻止提取性代理,并通过Monetization Gateway设置支付。
Cloudflare在代理互联网中扮演什么角色?
Cloudflare作为中立的、高性能的网络层,位于网站和代理之间,提供保护、加速和支付等服务,同时不偏袒任何一方,确保开放。
代理互联网如何解决机器人重复抓取和收入模式问题?
通过可读性(减少重复抓取)、可支付性(按次付费)和可调用性(直接API调用)等机制,减少无效抓取,为网站提供新的收入来源,解决广告模式失效的问题。