大语言模型137个涌现特征列表 — Jason Wei
原文中文，约900字，阅读约需3分钟。发表于：。涌现 emergent ：定义为一种能力“不存在于小模型中，但......存在于大模型中。” 在 大型语言模型的涌现能力 中，我们将涌现能力定义为“不存在于小模型中但存在于大模型中”的能力。 涌现是一种罕见现象，还是许多任务实际上是涌现的？ 事实证明，通过扩展 GPT-3、Chinchilla 和 PaLM 等语言模型，已经根据经验发现了 100...
本文介绍了大型语言模型的涌现能力，即“不存在于小模型中但存在于大模型中”的能力。已发现100多个涌现能力的例子，其中少量提示任务的性能对于小模型是随机的，对于大模型是随机的。涌现提示任务专注于特定数据集，而涌现的第二类是小样本提示策略，这是仅适用于足够大规模的语言模型的通用提示策略。
