Cloudflare 与 OpenAI：让 AI 发现对每个人都更好
内容提要
Cloudflare与OpenAI于2026年7月启动研究试点，利用Cloudflare网络信号帮助ChatGPT更高效发现网页。早期结果显示，试点已让OpenAI索引数亿新页面，并识别无效、重定向、重复及有害页面，减少无效抓取。双方将继续优化页面筛选与变更信号，提升AI搜索质量，同时强调网站所有者可自主控制AI访问。
延伸解读
试点规模与初步成效
本次研究试点仅使用了Cloudflare约1%的网络参与队列，却已帮助OpenAI发现并索引了数亿个新网页。这表明，即使小范围利用网络信号，也能显著扩大AI搜索的覆盖范围，为ChatGPT用户提供更多可参考的来源。
识别无效与有害页面
试点发现，自动化流量常让不存在的页面显得有趣，例如机器人反复请求不存在的文件、网站将任意地址重定向到首页、或出现重复内容。通过识别这些模式，可在抓取前减少无效工作。同时，测试信号能标记潜在有害页面，如被植入虚假登录表单的单个页面，从而只标记该页面而非整个域名，避免惩罚网站所有者。
变更信号与抓取效率
为了平衡发现新页面与减少不必要抓取，试点测试了变更信号：告知爬虫页面何时值得再次访问。这有助于避免反复下载未更改的页面，减少网站负载，同时让OpenAI将搜索资源集中在更有价值的信息上。
网站所有者的控制权
文章强调，关于页面的信号并不授予访问权限。该研究使用网络元数据用于搜索和发现，而非分享页面内容用于模型训练。网站所有者可通过Cloudflare的AI Crawl Control自主管理AI系统对其网站的访问方式。
Q&A
Cloudflare 和 OpenAI 在 2026 年 7 月启动了什么研究试点？
Cloudflare 与 OpenAI 于 2026 年 7 月启动了一项研究试点，旨在利用 Cloudflare 网络信号帮助 ChatGPT 更高效地发现网页。
这个试点项目取得了哪些早期成果？
早期结果显示，试点已让 OpenAI 索引数亿新页面，并识别无效、重定向、重复及有害页面，减少无效抓取。
Cloudflare 的网络信号如何帮助 ChatGPT 发现更多网页？
Cloudflare 的网络信号帮助 OpenAI 的搜索爬虫发现更多有用页面，OpenAI 再独立评估和排名这些页面，形成一个反馈循环，提升发现效率和信息质量。
试点如何减少无效抓取？
通过过滤不存在或重定向的页面，以及使用变更信号告知爬虫页面是否值得再次访问，从而减少无效抓取。
网站所有者如何控制 AI 对其内容的访问？
网站所有者可以使用 Cloudflare 的 AI Crawl Control 来理解和管理 AI 系统如何访问其网站。
试点项目下一步的计划是什么？
下一阶段将改进页面选择，测试更快更可靠的变更信号，并衡量内容被发现后的实际效果。
