AI Scaling的神话
💡
原文中文，约5300字，阅读约需13分钟。
📝
内容提要
本文讨论了语言模型的扩展和发展趋势，指出扩展定律被误解，模型的涌现能力受限于外推能力，高质量训练数据难以获取，扩展几乎无法实现人工通用智能，模型行业面临模型尺寸下行压力，合成数据不能替代高质量人类数据，训练时间逐渐增长，许多CEO降低了对AGI的期望。
🎯
关键要点
- 语言模型的扩展和发展趋势被误解，扩展定律并不意味着模型能力会无限提升。
- 涌现能力与模型规模的增加并不总是成正比，模型的外推能力有限。
- 获取高质量训练数据的难度增加，未来数据获取成本可能会显著上升。
- 合成数据不能替代高质量的人类数据，虽然在特定领域有成功案例，但不适用于所有任务。
- 模型尺寸面临下行压力，而训练时间却在逐渐增加，开发者更倾向于生成较小的模型。
- 许多CEO降低了对AGI的期望，通用性被视为一个连续谱系而非二元对立的概念。
- AI研究社区在预测技术潜力和新应用方面表现不佳，未来仍有许多未知挑战。
➡️
