让网站更轻松地表达AI训练偏好
内容提要
OpenAI宣布将遵守robots.txt中的一项通用信号，使网站能一次性向多家AI提供商表明其内容是否可用于生成式AI训练，无需逐一维护各爬虫规则。该信号基于IETF AI偏好工作组的工作，计划未来数月实施，且不取代现有爬虫控制。OpenAI称这是迈向开放网络的务实一步，并鼓励其他AI提供商遵守。
延伸解读
统一信号降低多平台管理成本
此前网站需针对不同AI提供商的爬虫分别设置规则，维护成本高。OpenAI支持的robots.txt通用信号允许网站一次性向多家参与提供商表达相同偏好，减少了重复配置工作。这尤其对内容量大、爬虫规则复杂的网站有实际帮助，但前提是其他AI提供商也遵守该信号。
新信号不替代现有爬虫控制
OpenAI明确表示，新信号不会取代现有的robots.txt爬虫控制，现有控制将继续适用并被尊重。这意味着网站可以同时使用新旧机制，新信号是补充而非替代。读者应注意，该信号目前仅针对生成式AI训练偏好，不涉及其他用途的爬虫行为。
实施尚需数月，标准仍在演进
OpenAI计划在未来数月内实施该信号，具体细节将在实施时公布。该信号基于IETF AI偏好工作组的工作，OpenAI表示将继续参与标准讨论并随对话和形势演变调整做法。因此，当前宣布更多是方向性承诺，实际效果取决于后续实施进度和其他提供商的跟进程度。
Q&A
OpenAI 在 robots.txt 中新增了什么信号？
OpenAI 宣布将遵守 robots.txt 中的一项通用信号，该信号允许网站一次性向多家 AI 提供商表明其内容是否可用于生成式 AI 训练。
这个通用信号对网站运营者有什么好处？
网站运营者无需再为每个 AI 提供商单独识别爬虫并维护不同规则，只需通过一个共享信号就能同时向多个参与提供商传达相同偏好，减少了工作量。
OpenAI 计划何时实施这个信号？
OpenAI 计划在未来几个月内实施该信号，届时会分享关于实施细节的更新。
新信号会取代现有的爬虫控制吗？
不会。新信号不会取代 OpenAI 通过 robots.txt 提供的现有控制，现有的爬虫控制将继续适用并得到尊重。
这个通用信号是基于什么工作制定的？
该信号基于互联网工程任务组（IETF）AI 偏好工作组的持续工作，OpenAI 与其他参与者一起宣布了这一共享信号。
OpenAI 对其他 AI 提供商有什么呼吁？
OpenAI 鼓励其他 AI 提供商也遵守这一信号，共同推动开放网络的发展。
