新浪张俊林:大语言模型的涌现能力——现象与解释

新浪张俊林:大语言模型的涌现能力——现象与解释

💡 原文中文,约4800字,阅读约需12分钟。
📝

内容提要

顿悟现象是指模型在学习任务时,经历记忆期、平台期和泛化期,突然出现学习规律的现象。研究表明,顿悟现象本质上是在学习输入数字的表征。目前,尚未明确指出顿悟现象与大型语言模型的涌现现象之间的关系,但两者存在某些关联。

🏷️

标签

➡️

继续阅读