LLaMA 3：大模型之战的新序幕
内容提要
本文讨论了文本数据扩展的极限和发展方向，包括挖掘互联网资源、搜寻图书馆藏书和使用合成数据。文章提出了扩展多模态领域，特别是统一的视频-语言生成模型。作者认为，从人类、人工智能和环境反馈中扩展强化学习可能是提升模型推理能力的前景路径。接下来的发展方向包括放宽过滤和去重标准、利用合成数据、搜寻更多图书馆藏书等。文章还讨论了扩展统一的视频-语言生成模型和通过迭代强化学习生成智能体的方法。
延伸解读
文本数据扩展的瓶颈与可能出路
文章指出，易获取的网络文本资源已基本用尽，文本数据扩展可能已达极限。继续扩大规模需探索新来源，如更深入挖掘Common Crawl、放宽过滤和去重标准、使用合成数据以及搜寻图书馆藏书。但这些方向面临挑战：Common Crawl的增量有限，合成数据难以实现量级突破，图书馆藏书则受版权和高成本限制。总体而言，文本数据的大幅增长空间有限，未来更可能是当前数量级上的增量。
多模态扩展：机遇与局限
规模扩展竞赛的新阶段将转向多模态领域，尤其是统一的视频-语言生成模型，因为视频数据可能带来数量级的增长。然而，视频数据似乎不能显著提升模型的推理能力，而推理是区分模型强弱的关键指标。好消息是，视频数据能增强模型与现实世界的联系，提升接地信息，展现出成为神经世界模型的潜力，为从模拟物理反馈中学习提供了可能。
强化学习：提升推理能力的前景路径
从人类、人工智能和环境反馈中扩展强化学习，可能是持续提升模型推理能力最有前景的路径。类似于AlphaGo Zero，自我对弈和与环境互动可能是超人类生成模型的方向。关键是在线迭代式的大规模探索和利用，包括扩展模型探索的时间跨度、搜索空间和反馈来源。现有研究多集中于小规模单轮优化，而未来需转向在线迭代式的大规模探索。
统一视频-语言生成模型的挑战
扩展统一的视频-语言生成模型面临诸多设计和训练挑战。社区在基本问题上尚未达成共识，例如：是先在各自模态上训练再桥接，还是直接混合训练？图像/视频部分应使用统一Transformer还是UNet/CNN？如何调和不同模态之间的矛盾？视频理解部分如何进行分词/表示学习？视频生成部分应自回归还是基于扩散？这些问题的解决需要社区进行饱和式研究。
Q&A
LLaMA 3的性能如何？
LLaMA 3在MMLU等关键指标上表现优异，使用了15T的训练词元，明显优于其他同级别模型。
文本数据扩展的极限是什么？
文本数据扩展可能已达极限，易获取的网络资源已被充分利用，需探索新的数据来源。
视频数据在模型推理中有什么作用？
视频数据虽然不能显著提升模型的推理能力，但能增强模型与现实世界的联系，提升其他性能。
如何扩展强化学习以提升模型推理能力？
通过从人类、人工智能和环境反馈中扩展强化学习，进行在线迭代学习，可以持续提升模型的推理能力。
未来的多模态生成模型发展方向是什么？
未来将聚焦于统一的视频-语言生成模型的设计和训练方法，以应对规模扩展竞赛的新阶段。
合成数据在模型训练中面临哪些挑战？
合成数据主要用于持续预训练和微调，但尚未实现量级突破，面临数据质量和应用范围的挑战。
