AI 范式雷达:《网站开始给 Agent 单独上一道菜》

AI 范式雷达:《网站开始给 Agent 单独上一道菜》

💡 原文中文,约2400字,阅读约需6分钟。
📝

内容提要

HTTP内容协商机制正被用于向AI代理直接提供Markdown格式,替代传统HTML,节省90%以上字节。Claude Code、Cursor等编码Agent已支持,Cloudflare、Vercel等平台跟进,但ChatGPT等消费端缺席。争议在于激励错位、清洗成本及安全风险,趋势可能限于编码场景,需观察消费端采用与安全事件。

🔎

延伸解读

老机制的新买家:为何落地快

Accept 头协商并非新协议,而是 RFC 9110 定义的既有机制,配合 RFC 7763 的 text/markdown 类型和 RFC 8288 的 Link 发现路径,组合使用无需新标准。这种“旧瓶装新酒”的方式降低了采用门槛,使得 Cloudflare、Vercel 等平台能快速提供零配置支持,也让编码 Agent 能迅速接入。

字节节省的真相:并非总是十倍

文章实测显示,某些页面 Markdown 比 HTML 省 90% 以上字节,但 HN 评论指出,语义化良好的 HTML 仅比等价 Markdown 多 5%-20% 字节。差距取决于原页面的“腐化”程度:干净页面收益有限,而冗余、嵌套深的页面收益显著。因此,“省字节”叙事在烂页面上成立,在优质页面上并不戏剧化。

安全与激励:两大软肋

Markdown 可内嵌 HTML 与 script 标签,若渲染器不做消毒,可能成为提示注入的新入口。同时,内容方担心被 Agent “白嫖”而缺乏激励,Time 杂志向 Agent 投放带广告的 Markdown 变体(社区传闻)反映了变现尝试。这些因素导致采用者集中在文档站等“内容即产品”场景,而非广告驱动的内容站。

未来观察信号

趋势能否扩大,取决于三个信号:消费端(ChatGPT browse、Gemini、Claude.ai web)是否支持该头部;IETF 是否出现正式草案;以及是否出现首个 Markdown 变体投毒案例或 CVE。若消费端持续缺席,该趋势可能沦为编码 Agent 专属 niche;若出现安全事件,则可能转向军备竞赛。

Q&A

什么是“网站给 Agent 单独上一道菜”?

这指的是网站利用 HTTP 内容协商机制,当检测到 AI 代理(如 Claude Code、Cursor)发送 Accept: text/markdown 请求头时,直接返回干净的 Markdown 格式内容,而不是传统的 HTML。这样可以为 AI 代理节省大量字节,并避免其自行清洗 HTML 的麻烦。

HTTP 内容协商如何用于向 AI 代理提供 Markdown?

HTTP 内容协商通过 Accept 请求头实现。当 AI 代理发送 Accept: text/markdown 时,服务器根据该头返回 Markdown 格式的响应,并设置 Content-Type: text/markdown 和 Vary: Accept。这利用了 RFC 9110 定义的协商机制和 RFC 7763 定义的 text/markdown 媒体类型。

哪些 AI 代理或平台已经支持通过 Accept 头获取 Markdown?

根据 acceptmarkdown.com 的矩阵,明确支持的有 Claude Code、Copilot Chat、Copilot CLI、Cursor、Microsoft Copilot、OpenClaw、OpenCode;Codex CLI 为部分支持(通过 Link 头发现)。此外,Cloudflare、Vercel、Netlify 等平台也已支持,而 ChatGPT、Gemini、Claude.ai 等消费级产品尚未支持。

相比 HTML,向 AI 代理提供 Markdown 能节省多少字节?

文章实测显示,acceptmarkdown.com 的页面从 HTML 的 23,855 字节降至 Markdown 的 2,201 字节,节省约 90.8%;Anthropic 官方文档从 476,665 字节降至 16,629 字节,节省 96.5%。但评论指出,对于语义化良好的 HTML,节省可能只有 5%-20%。

向 AI 代理提供 Markdown 存在哪些争议或风险?

争议包括:激励错位(网站担心被 AI 代理白嫖内容,而搜索引擎能带来流量);清洗成本(已有 Firecrawl 等中间层服务在客户端转换);安全风险(Markdown 可内嵌 HTML 和 script 标签,若渲染器不消毒可能引发提示注入攻击)。

哪些类型的网站最适合采用向 AI 代理提供 Markdown 的做法?

最适合的是文档站、博客、API 参考等“内容即产品”的网站,因为这些网站的内容本身就是价值,且 AI 代理高频读取。而依赖广告变现的网站缺乏动机,SPA 或 JS 渲染页面则难以零成本提供 Markdown。

未来需要关注哪些信号来判断该趋势的发展?

需要关注三个信号:消费端 AI 产品(如 ChatGPT browse、Gemini、Claude.ai web)是否开始支持该头部;IETF 是否出现正式草案;以及是否出现首个 Markdown 变体投毒案例或 CVE。若消费端仍不支持,该趋势可能仅限于编码 Agent 场景。

如何测试自己的网站是否支持向 AI 代理提供 Markdown?

可以使用 curl 命令测试:curl -sI -H "Accept: text/markdown" https://你的站点/,查看响应头中 Content-Type 是否为 text/markdown。也可以对比 HTML 和 Markdown 的字节数,并参考 acceptmarkdown.com 提供的配置指南(如 nginx、Caddy、Next.js、WordPress 等)来实施。

🏷️

标签

➡️

继续阅读