大模型的规模扩展是否可持续？
内容提要
本文讨论了扩展语言大模型（LLMs++）对实现通用人工智能（AGI）的有效性和影响。正方认为，通过扩展模型规模、算法进步和硬件改进，有望在2040年之前实现AGI。反方则认为，数据不足、模型泛化能力有限以及基准测试的局限性可能阻碍了扩展的有效性。作者个人观点是，通过扩展+算法进步+硬件进步，有70%的可能性在2040年之前实现AGI。
延伸解读
数据瓶颈：扩展的关键制约
文章指出，高质量语言数据可能在明年耗尽，而扩展模型所需的数据量比现有数据多5个数量级。即使通过算法改进、多模态训练和重复利用词元提升数据效率，也难以弥补这一巨大缺口。合成数据和自我对弈被正方视为潜在解决方案，但反方认为其评估和计算挑战尚未解决。数据瓶颈因此成为扩展可持续性的核心争议点。
基准测试的局限与模型真实能力
正方以模型在MMLU、BIG-bench等基准上的持续提升作为扩展有效的证据，但反方指出这些测试更多考察记忆而非智能，且模型在SWE-bench等长期任务上表现糟糕。基准测试的局限性使得评估模型真实泛化能力变得困难，双方对现有证据的解读存在根本分歧。
作者判断：70%概率2040年前实现AGI
作者综合正反观点，认为通过扩展、算法进步和硬件改进，有70%的概率在2040年前实现AGI，但也有30%的概率怀疑者正确。这一判断基于对历史趋势的观察，同时承认理论依据模糊和证据不完整。作者还提到，人工智能实验室未公开的研究可能影响这一估计。
Q&A
大模型规模扩展面临哪些主要挑战？
主要挑战包括高质量语言数据即将耗尽、模型泛化能力有限以及基准测试的局限性。反方指出，高质量语言数据将在明年耗尽，且达到人类水平所需计算量远超现有能力；模型在长期任务中表现不佳，基准测试更多考察记忆而非智能。
为什么说高质量数据可能不够用？
反方认为高质量语言数据将在明年耗尽，且要达到可靠撰写科学论文的智能水平，需要比现有数据多5个数量级的数据（即当前数据量比需求少100,000倍）。即使通过算法改进、多模态训练、重复使用词元等技术提升数据效率，也无法弥补这一巨大差距。
合成数据和自我对弈能解决数据不足的问题吗？
正方认为合成数据和自我对弈可能有效，因为模型基础能力足够强时，强化学习可行，且自我对弈不需要完美判断推理，只需擅长评估即可。反方则认为尚未有证据表明强化学习能增强模型的基本能力，且自我对弈面临评估和计算两大难题。
当前基准测试能真实反映模型的智能水平吗？
反方质疑基准测试的有效性，认为MMLU、BIG-bench等测试更像考察记忆能力，问题多为谷歌搜索首页结果；而SWE-bench等长期任务测试中模型表现糟糕（GPT-4仅完成1.7%）。正方则认为基准测试显示模型性能持续提升，表明扩展仍然有效。
模型是否真正理解世界？
正方认为模型能建立世界模型，例如GPT-4能编写LaTeX代码绘制独角兽，表明其理解了独角兽概念；预测下一个词元需要学习世界规律。反方则认为压缩不等于智能，模型缺乏基于洞察力的学习能力，无法像人类一样瞬间整合新见解。
作者对AGI实现时间线的预测是什么？
作者个人判断：通过扩展、算法进步和硬件进步，有70%的可能性在2040年之前实现通用人工智能（AGI）；30%的可能性是怀疑者正确，即语言大模型及其产物失败。
