DEV Community
·
/llms.txt：控制AI爬虫访问您网站的简单方法 🤖
💡
原文英文，约200词，阅读约需1分钟。
📝
内容提要
随着AI网络爬虫的普及，网站希望控制内容使用。LLMs.txt是一种新标准，允许网站所有者指定AI模型的训练权限、允许/禁止的内容、归属要求和爬虫速率限制。只需在根目录添加LLMs.txt文件即可实施。
🎯
关键要点
- 随着AI网络爬虫的普及，网站希望控制内容使用。
- LLMs.txt是一种新标准，允许网站所有者指定AI模型的训练权限。
- LLMs.txt可以指定允许/禁止的内容、归属要求和爬虫速率限制。
- 只需在根目录添加LLMs.txt文件即可实施。
- 大多数公司允许对公共博客内容进行训练，文档通常受到限制，优质内容通常不允许使用。
- 最佳实践包括从默认政策开始，明确归属，考虑速率限制，并定期审查。
➡️
