The Cloudflare Blog
·
崩溃前的爬行……推荐的衰退：理解人工智能对内容提供者的影响
内容提要
内容发布者欢迎搜索引擎爬虫带来的流量，但AI爬虫通过重包装内容使用户无需访问原网站。Cloudflare Radar的新指标揭示了AI模型与网站流量的关系，帮助网站所有者决定是否允许特定AI爬虫。数据显示，爬虫请求与用户点击的比例逐渐失衡，内容提供者需审查AI爬虫的影响。
关键要点
-
内容发布者欢迎搜索引擎爬虫带来的流量，但AI爬虫通过重包装内容使用户无需访问原网站。
-
Cloudflare Radar的新指标揭示了AI模型与网站流量的关系，帮助网站所有者决定是否允许特定AI爬虫。
-
数据显示，爬虫请求与用户点击的比例逐渐失衡，内容提供者需审查AI爬虫的影响。
-
AI爬虫的请求与用户点击的比例计算方法是通过请求数量与引用头部的主机名进行比较。
-
新指标显示，AI平台的爬虫请求与用户点击的比例差异很大，例如Anthropic的比例为70,900:1。
-
随着时间的推移，爬虫活动的变化会影响这些比例，Google的爬虫流量在某些时期下降。
-
AI平台的流量在整体流量中占比较低，且变化趋势显示爬虫请求增加而用户点击减少。
-
内容提供者需重新审视其内容发布的可行性，AI模型频繁抓取内容但发送的流量却减少。
-
Cloudflare推出了新工具，帮助网站所有者控制AI爬虫的访问，并建议内容创作者审计和执行其偏好的AI爬虫政策。
-
Cloudflare Radar还扩展了Verified Bots内容，提供了一个独立的目录，展示经过验证的爬虫信息。
延伸解读
AI爬虫对内容提供者的挑战
AI爬虫通过重包装内容，导致用户无需访问原网站，从而影响内容提供者的流量和收入。随着AI爬虫请求的增加，内容提供者需要重新评估其内容发布策略，以确保能够有效吸引用户点击。
Cloudflare的新工具与策略
Cloudflare推出的新工具使网站所有者能够控制AI爬虫的访问，建议内容创作者审计并执行其偏好的爬虫政策。这为内容提供者提供了更多的自主权，以应对AI爬虫带来的流量变化。
爬虫请求与用户点击的比例变化
数据表明，AI爬虫的请求与用户点击的比例逐渐失衡，某些AI平台的比例高达70,900:1。这一趋势意味着内容提供者可能面临更大的流量损失，需关注爬虫活动的变化。
延伸问答
AI爬虫如何影响内容提供者的流量？
AI爬虫通过重包装内容，使用户无需访问原网站，从而导致内容提供者的流量减少。
Cloudflare Radar的新指标有什么作用？
新指标帮助网站所有者了解AI模型与网站流量的关系，以便决定是否允许特定AI爬虫。
爬虫请求与用户点击的比例是如何计算的？
比例通过计算来自特定搜索或AI平台的请求数量与引用头部的主机名进行比较得出。
AI平台的爬虫请求与用户点击的比例有多大差异？
例如，Anthropic的比例为70,900:1，表示其爬虫请求远高于用户点击。
内容提供者应该如何应对AI爬虫的影响？
内容提供者需审查AI爬虫的影响，并考虑审计和执行其偏好的AI爬虫政策。
Cloudflare提供了哪些工具来帮助网站所有者控制AI爬虫？
Cloudflare推出了新工具，允许网站所有者一键阻止特定类型的AI爬虫。
