详解LLMs.txt：AI 时代网站内容控制的新协议
内容提要
LLMs.txt是一种新协议，允许网站所有者通过根目录的纯文本文件告知AI爬虫（如GPTBot、ClaudeBot）内容是否可用于训练。它类似robots.txt但针对AI，非强制但获主流支持。配置简单，需创建文件、设规则并上传，但存在非强制、覆盖有限等局限。建议网站先创建文件，根据内容性质决定策略，并定期更新。
延伸解读
LLMs.txt 与 robots.txt 的分工
LLMs.txt 和 robots.txt 虽然都放在根目录，但作用不同：robots.txt 控制搜索引擎爬虫，影响搜索排名和索引；LLMs.txt 则针对 AI 爬虫，决定内容是否可用于模型训练。两者互补，不能互相替代。随着 AI 生成内容在搜索结果中占比增加，同时维护这两个文件将变得越来越重要。
配置前的策略思考
在配置 LLMs.txt 之前，网站所有者需要明确自己的内容策略：内容密集型网站（如出版商、文档库）可能希望开放访问以增加在 AI 回答中的曝光；而拥有专有内容或付费内容的品牌，则可能需要限制访问以保护知识产权。此外，医疗、金融等合规要求严格的行业，阻止 AI 爬虫也是治理措施的一部分。
LLMs.txt 的局限性
LLMs.txt 并非强制标准，依赖 AI 公司的自觉遵守，且覆盖范围有限，并非所有 AI 爬虫都支持。更重要的是，它只能影响未来的抓取行为，无法撤回已用于训练的数据。对于敏感信息，仅靠 LLMs.txt 不够，还需结合服务器级别的访问控制。因此，它应被视为整体内容治理策略的一部分，而非万能解决方案。
Q&A
LLMs.txt是什么？它和robots.txt有什么区别？
LLMs.txt是一种放在网站根目录的纯文本文件，用于告知AI爬虫（如GPTBot、ClaudeBot）内容是否可用于训练。它类似robots.txt，但针对AI爬虫而非搜索引擎爬虫。robots.txt控制搜索引擎抓取和索引，影响SEO；LLMs.txt影响AI模型是否将内容用于训练，影响内容在生成式AI中的呈现。robots.txt较强制，LLMs.txt目前更接近声明。
如何配置LLMs.txt文件？
配置LLMs.txt很简单：1. 创建名为llms.txt的纯文本文件，可添加注释；2. 设置爬虫指令，例如允许所有AI爬虫（User-agent: * Allow: /）或阻止所有（Disallow: /），也可针对不同爬虫分别设置；3. 将文件上传到网站根目录，确保可通过https://yoursite.com/llms.txt访问；4. 监控AI爬虫活动，检查服务器日志。
哪些AI爬虫支持LLMs.txt？
目前支持LLMs.txt的主要AI爬虫包括：GPTBot（OpenAI）、Google-Extended（Google）、ClaudeBot（Anthropic）、CCBot（Common Crawl）和PerplexityBot（2024年开始支持）。
LLMs.txt是强制性的吗？如果AI爬虫不遵守怎么办？
LLMs.txt不是强制性的，它只是一个请求或声明，AI公司可以选择是否遵守。如果发现爬虫不遵守，可以检查文件格式和位置是否正确，考虑通过服务器配置（如防火墙规则）屏蔽不听话的爬虫IP，并关注各AI公司的政策更新。
LLMs.txt会影响SEO排名吗？
目前LLMs.txt不会直接影响搜索引擎排名。它影响的是内容在AI生成回答中的参与方式，而非传统的搜索排名。
哪些类型的网站最需要LLMs.txt？
内容密集型网站（如出版商、教育机构）、拥有专有内容的品牌、关注AI搜索的运营者以及有合规要求的行业（如医疗、金融、法律）最需要LLMs.txt，因为它能帮助控制内容如何被AI使用，保护专有数据并满足合规要求。
LLMs.txt有哪些局限性？
LLMs.txt的局限性包括：非强制性，依赖AI公司自觉；覆盖范围有限，并非所有AI爬虫都支持；数据可能已被使用，文件只能影响未来行为；对敏感信息保护并非万能，需要结合服务器级访问控制。
