AI Scaling的神话
内容提要
本文讨论了语言模型的扩展和发展趋势，指出扩展定律被误解，模型的涌现能力受限于外推能力，高质量训练数据难以获取，扩展几乎无法实现人工通用智能，模型行业面临模型尺寸下行压力，合成数据不能替代高质量人类数据，训练时间逐渐增长，许多CEO降低了对AGI的期望。
延伸解读
扩展定律的误解与涌现能力的局限
文章指出，扩展定律仅量化了困惑度的下降，即模型预测下一个词的能力提升，但这并不直接转化为用户关心的涌现能力。涌现能力不受类似定律的支配，且模型的外推能力有限，在测试解决未见任务的基准上表现不佳。因此，仅靠扩大规模无法保证能力无限提升，未来可能遇到瓶颈。
高质量数据瓶颈与合成数据的局限
研发公司已用尽现成数据源，获取新数据成本高昂，且面临版权、声誉和监管压力。合成数据虽在特定领域如数学、代码中有成功案例，但主要用于修复漏洞和领域改进，不能替代高质量人类数据用于预训练。盲目生成合成数据可能无法达到同等效果。
模型尺寸下行与训练计算上行
市场趋势显示，开发者更倾向于生成较小模型，因为能力不再是技术采用的主要障碍，成本成为关键。API定价表明，最大模型并非最有能力，如GPT-4o成本仅为GPT-4的25%但功能相似。然而，较小模型需要更多训练以达到相同性能，导致训练计算持续增长，训练与推理成本需权衡。
AGI期望降低与通用性谱系
许多CEO降低了对AGI的期望，通过淡化定义来保全面子。通用性应被视为连续谱系而非二元对立，LLM的通用性并不新鲜，是通用性阶梯的最新一步。实现人类水平的经济价值工作仍有许多未知挑战，AI研究社区在预测技术潜力方面表现不佳，未来趋势仍难预料。
Q&A
扩展定律在语言模型中的误解是什么？
扩展定律并不意味着模型能力会无限提升，它只是量化了模型预测能力的提高，而真正重要的是模型的涌现能力。涌现能力与模型规模的增加并不总是成正比。
获取高质量训练数据面临哪些挑战？
获取高质量训练数据的难度增加，未来数据获取成本可能显著上升，尤其是数据版权持有者希望得到补偿时。
合成数据能否替代高质量人类数据？
合成数据不能替代高质量的人类数据，虽然在特定领域有成功案例，但不适用于所有任务。
模型尺寸的变化趋势是什么？
模型尺寸面临下行压力，开发者更倾向于生成较小的模型，而训练时间却在逐渐增加。
CEO们对AGI的期望为何降低？
许多CEO降低了对AGI的期望，通用性被视为一个连续谱系而非二元对立的概念，反映出对实现AGI的信心减弱。
未来AI研究的重点将转向哪里？
未来AI研究的重点将从扩展数据集转向提高训练数据的质量，细致的数据清理和过滤将成为关键。
