Llama 3 开启规模游戏的下一篇章（译）

原文约6000字，阅读约需15分钟。发表于：。

目前，文本数据的规模化可能已经达到了瓶颈，因为大部分易获取的网络文本数据（如Common Crawl、Github、Arxiv等）已经被广泛利用。规模游戏的第一篇章集中在扩展文本数据上，在 GPT-4 达到顶峰，并以 Llama 3 结束。该游戏的第二篇章将是统一的视频-语言生成建模和从 X 个反馈中进行迭代强化学习。

文本数据扩展达瓶颈，下一步发展集中在视频-语言生成建模和迭代强化学习。Llama 3性能不错，但推理能力需扩大强化学习规模。视频数据可改善模型与现实世界联系。