/cdn.vox-cdn.com/uploads/chorus_asset/file/25330654/STK414_AI_CHATBOT_E.jpg)
OpenAI转录了超过一百万小时的YouTube视频以训练GPT-4
内容提要
AI公司在寻找高质量的训练数据方面遇到困难，导致它们不得不采取可疑的做法。OpenAI为了训练其语言模型GPT-4，转录了超过一百万小时的YouTube视频，尽管知道这在法律上是有问题的。Google也从YouTube获取了转录，但这两家公司都面临法律和技术限制。Meta考虑支付书籍许可费或购买出版商以获取训练数据。AI训练领域正面临数据短缺的问题，公司可能在2028年之前超过新内容。
延伸解读
数据饥渴下的法律灰色地带
文章指出，OpenAI和Google等公司为获取训练数据，采取了转录YouTube视频等游走于法律边缘的做法。OpenAI明知此举法律上存疑，但自认属于合理使用；Google则强调其条款禁止未经授权抓取，却承认自身也使用了YouTube内容。这反映出AI行业在数据需求与版权合规之间的普遍困境。
各公司的应对策略与局限
面对高质量数据短缺，各公司策略不同：OpenAI转向转录播客、有声书并探索合成数据；Google调整隐私政策以扩大数据使用范围；Meta则考虑支付书籍许可费甚至收购出版商。但这些做法均受制于法律风险、隐私限制或技术瓶颈，难以根本解决数据来源问题。
数据短缺的长期影响
文章援引《华尔街日报》称，AI公司可能在2028年前耗尽互联网上的新内容。这意味着模型性能提升将面临数据瓶颈，迫使行业更依赖合成数据或非公开数据合作。同时，版权诉讼和监管压力可能进一步收紧数据获取渠道，增加AI研发的不确定性与成本。
Q&A
OpenAI为什么转录YouTube视频？
OpenAI转录YouTube视频是为了获取高质量的训练数据，以训练其语言模型GPT-4。
OpenAI在获取训练数据时面临哪些法律问题？
OpenAI知道转录YouTube视频在法律上是有问题的，但认为这是合理使用。
Google如何处理YouTube内容的转录？
Google表示其条款禁止未经授权抓取YouTube内容，并采取技术和法律措施防止此类行为。
Meta在寻找训练数据时遇到了什么限制？
Meta在寻找训练数据时面临版权限制，考虑支付书籍许可费或购买大型出版商。
AI训练领域目前面临什么样的数据短缺问题？
AI训练领域面临数据短缺问题，预计到2028年可能会超过新内容的产生。
OpenAI是如何收集训练数据的？
OpenAI通过多种来源收集数据，包括公开数据和与非公开数据的合作，并考虑生成合成数据。
