AI Scaling的神话
💡
原文中文，约5300字，阅读约需13分钟。
📝
内容提要
本文讨论了语言模型的扩展和发展趋势，指出扩展定律被误解，模型的涌现能力受限于外推能力，高质量训练数据难以获取，扩展几乎无法实现人工通用智能，模型行业面临模型尺寸下行压力，合成数据不能替代高质量人类数据，训练时间逐渐增长，许多CEO降低了对AGI的期望。
🎯
关键要点
- 语言模型的扩展和发展趋势被误解，扩展定律并不意味着模型能力会无限提升。
- 涌现能力与模型规模的增加并不总是成正比，模型的外推能力有限。
- 获取高质量训练数据的难度增加，未来数据获取成本可能会显著上升。
- 合成数据不能替代高质量的人类数据，虽然在特定领域有成功案例，但不适用于所有任务。
- 模型尺寸面临下行压力，而训练时间却在逐渐增加，开发者更倾向于生成较小的模型。
- 许多CEO降低了对AGI的期望，通用性被视为一个连续谱系而非二元对立的概念。
- AI研究社区在预测技术潜力和新应用方面表现不佳，未来仍有许多未知挑战。
❓
延伸问答
扩展定律在语言模型中的误解是什么？
扩展定律并不意味着模型能力会无限提升，它只是量化了模型预测能力的提高，而真正重要的是模型的涌现能力。涌现能力与模型规模的增加并不总是成正比。
获取高质量训练数据面临哪些挑战？
获取高质量训练数据的难度增加，未来数据获取成本可能显著上升，尤其是数据版权持有者希望得到补偿时。
合成数据能否替代高质量人类数据？
合成数据不能替代高质量的人类数据，虽然在特定领域有成功案例，但不适用于所有任务。
模型尺寸的变化趋势是什么？
模型尺寸面临下行压力，开发者更倾向于生成较小的模型，而训练时间却在逐渐增加。
CEO们对AGI的期望为何降低？
许多CEO降低了对AGI的期望，通用性被视为一个连续谱系而非二元对立的概念，反映出对实现AGI的信心减弱。
未来AI研究的重点将转向哪里？
未来AI研究的重点将从扩展数据集转向提高训练数据的质量，细致的数据清理和过滤将成为关键。
➡️
