知乎每日精选
·
大语言模型的涌现能力：现象与解释
💡
原文中文，约6900字，阅读约需17分钟。
📝
内容提要
本文介绍了顿悟现象和大型语言模型的涌现现象，涌现能力与模型规模大小和具体任务有关系。本文提出了三种猜想来解释大型语言模型的涌现现象，其中第三种猜想利用顿悟现象来解释涌现现象。
🎯
关键要点
- 本文介绍了顿悟现象和大型语言模型的涌现现象，涌现能力与模型规模和具体任务有关。
- 提出了三种猜想来解释大型语言模型的涌现现象，第三种猜想利用顿悟现象来解释涌现现象。
- 涌现现象是复杂系统中微观个体相互作用后在宏观层面展现出的特殊现象。
- 生活中的涌现现象包括雪花形成、堵车、动物迁徙等。
- 大语言模型的规模在快速增长，超过100B参数的模型越来越普遍。
- 不同类型的任务对模型规模的需求不同，表现出伸缩法则、涌现能力和U形曲线三种不同的表现。
- In Context Learning和思维链（CoT）是两类被认为具有涌现能力的任务。
- 涌现能力与模型规模大小有一定关联，但具体关系与任务类型相关。
- 小模型是否具备涌现能力的问题值得探讨，Chinchilla和LLaMA模型的研究表明小模型也可能具备涌现能力。
- 顿悟现象描述了模型在训练过程中经历的记忆期、平台期和泛化期。
- 提出三种猜想解释涌现现象，包括任务评价指标不平滑、复杂任务与子任务的关系，以及用顿悟现象解释涌现现象的可能性。
➡️
