Llama 3 开启规模游戏的下一篇章（译）
内容提要
文本数据扩展达瓶颈，下一步发展集中在视频-语言生成建模和迭代强化学习。Llama 3性能不错，但推理能力需扩大强化学习规模。视频数据可改善模型与现实世界联系。
延伸解读
文本数据扩展的瓶颈与可能出路
文章指出，易获取的网络文本数据（如Common Crawl、GitHub、Arxiv）已广泛利用，文本数据扩展可能达到瓶颈。进一步扩大规模的方向包括：更彻底地挖掘Common Crawl、放宽过滤和去重标准、使用合成数据、扫描图书馆藏书等。但这些方法大多只能带来增量而非数量级增长，且面临技术或版权挑战。
视频数据的价值与局限
视频数据规模可能比文本大几个数量级，是规模游戏下一章的重要方向。但文章认为，视频数据可能无法提高模型的推理能力，因为推理是语言模型的核心能力。不过，视频数据能改善模型与现实世界的联系，并展现出成为神经世界模型的潜力，从而支持从模拟物理反馈中学习。
强化学习扩展：提升推理能力的关键
文章强调，从人类、AI和环境反馈中扩展强化学习是提升模型推理能力最有前景的方向。需要扩大探索视野、搜索空间和反馈来源。例如，将搜索空间从InstructGPT的7个候选扩展到百万级，并利用代码验证、流程奖励模型等迭代优化。在线迭代RLHF已被证明有效，但如何从大量候选中选择最佳仍是挑战。
多模态生成模型的设计空间与挑战
与文本模型不同，多模态生成模型的设计空间更大，许多基本问题尚未解决。例如：是分别训练各模态再桥接，还是混合训练？使用统一Transformer还是CV技术？如何标记化视频？生成应采用自回归还是扩散？添加视觉模态可能对语言能力产生负面影响，如何调和？这些问题的解决需要社区大量探索。
Q&A
Llama 3的性能如何？
Llama 3在MMLU等指标上表现良好，尤其是70B模型的性能超过同等级模型，MMLU得分超过80分。
文本数据扩展的瓶颈是什么？
文本数据的扩展可能已达瓶颈，易获取的网络文本数据已被广泛利用，进一步扩展面临挑战。
下一步的发展方向是什么？
下一步发展将集中在统一的视频-语言生成建模和迭代强化学习上，以实现数量级的增长。
视频数据对模型的影响是什么？
视频数据可以改善模型与现实世界的联系，但可能无法提高推理能力。
如何提高模型的推理能力？
扩大强化学习中的探索和利用规模，从人类、人工智能和环境的反馈中进行迭代学习是提升模型推理能力的有前景方向。
多模态生成模型的设计空间有哪些挑战？
多模态生成模型的设计空间大，存在许多未解决的基本问题，例如如何有效地桥接不同模态。
