DEV Community
·
大型科技公司正在伤害他们的客户
💡
原文英文，约600词，阅读约需3分钟。
📝
内容提要
Dennis Schubert更新了“diaspora*”项目的危机，因70%的请求来自大型语言模型（LLM）机器人，导致平台崩溃。这些机器人无视robots.txt，疯狂抓取数据，甚至获取Wiki页面的编辑历史。尽管尝试了多种反制措施，效果不佳。他指出，大型科技公司急需数据以训练AI，给小网站带来困境。为抵御机器人，他建议生成无意义文本和使用JavaScript陷阱，警示开放网络的衰退。
🎯
关键要点
- Dennis Schubert更新了'diaspora*'项目的危机，70%的请求来自大型语言模型机器人，导致平台崩溃。
- 这些机器人无视robots.txt，疯狂抓取数据，包括Wiki页面的编辑历史。
- 尝试的反制措施包括更新robots.txt、限速和阻止用户代理，但均未成功。
- 大型科技公司急需数据以训练AI，导致小网站面临困境。
- 建议的反制措施包括生成无意义文本和使用JavaScript陷阱，但这些方法技术要求高且成本昂贵。
- 大型科技公司的最终目标是将用户困在其生态系统中，减少用户访问其他网站的需求。
- 独立创作者面临SEO失效、高质量内容无法触达用户和收入减少的困境。
- 开放网络正在衰退，大型科技公司正在利用数据并压榨独立创作者，反击几乎不可能。
➡️
