OpenAI宣布将遵守robots.txt中的一项通用信号，使网站能一次性向多家AI提供商表明其内容是否可用于生成式AI训练，无需逐一维护各爬虫规则。该信号基于IETF AI偏好工作组的工作，计划未来数月实施，且不取代现有爬虫控制。OpenAI称这是迈向开放网络的务实一步，并鼓励其他AI提供商遵守。