AI通过大规模抓取网络数据正在自我毒害
内容提要
AI公司未经许可从互联网上获取数据的行为日益引起关注。封锁robots.txt或服务条款对爬虫无效。在许多国家，网络爬虫是合法的，但有限制。为AI训练而爬取受版权保护的内容可能是合法的，但版权仍适用于被爬取的数据。AI爬取狂潮导致了信任破裂、人工生成内容的限制、法律纠纷以及对小型网站的财务压力。由于爬取导致数据稀缺，可能会导致AI知识匮乏。在AI生成的数据上训练AI模型可能导致模型崩溃。AI社区需要找到创新解决方案，以避免数据匮乏的AI领域。如果只有巨头公司能够承担爬取成本，将导致知识差距和权力集中。将内容授权给科技巨头限制了小公司的资源。AI的未来岌岌可危，公平获取数据对于创新和竞争至关重要。
延伸解读
法律灰色地带：爬虫合法但使用受限
文章指出，网络爬虫在美国、欧盟、日本等地基本合法，但版权和数据保护法对爬取后的使用施加了严格限制。例如，欧盟GDPR要求处理个人数据必须合规，否则可能面临重罚。这意味着AI公司即使合法爬取数据，也可能因后续使用而陷入法律纠纷。读者需注意，合法性不等于无风险，使用爬取数据训练AI仍需谨慎评估。
模型崩溃：AI自我吞噬的恶性循环
当AI模型主要使用自身生成的数据进行训练时，会导致模型崩溃，表现为输出质量下降、多样性丧失甚至重复无意义内容。文章举例，一个模型在第九代训练后只会重复“长耳大野兔”。这是因为模型是对训练数据的近似，而训练在AI输出上则是对近似的近似，误差逐代放大。避免崩溃需要确保真实人类数据不减少，并探索新训练方法。
数据垄断：巨头与小公司的权力失衡
大型科技公司凭借雄厚财力，能够支付高昂的爬取成本或签订独家许可协议，获取新鲜、多样化的数据。而小型公司和初创企业则难以负担，只能使用过时或低质量的数据，导致其AI模型性能落后。这种数据获取的不平等可能加剧知识差距和权力集中，使未来AI技术被少数巨头主导，抑制创新和竞争。
应对策略：合成数据与专业化模型
为应对数据稀缺，文章提到两种潜在解决方案：一是使用合成数据，即由AI生成数据来训练其他AI，但需警惕低质量“AI垃圾”导致模型退化；二是发展专业化模型，如法律、医疗等垂直领域的专用AI，使用 curated 数据训练。此外，检索增强生成（RAG）将模型作为信息评估工具而非事实来源，也可减少对大量训练数据的依赖。这些方法各有局限，但为未来提供了方向。
Q&A
AI公司从互联网抓取数据是否合法？
在许多国家，网络爬虫是合法的，但有一些限制，尤其是涉及版权内容时。
爬虫行为对小型网站有什么影响？
爬虫行为导致小型网站面临财务压力，可能被迫退出市场。
AI生成的数据会对模型性能产生什么影响？
使用AI生成的数据可能导致模型崩溃和性能下降。
如何解决AI领域的数据稀缺问题？
AI社区需要寻找创新解决方案，如使用合成数据或专门化模型。
大型科技公司在数据抓取中占据什么优势？
大型科技公司有资源承担抓取成本，从而获取更多高质量数据，导致知识差距加大。
未来的AI可能面临哪些挑战？
未来的AI可能面临数据稀缺、模型崩溃和知识不平等的问题。
