大模型的涌现能力是幻象？
原文中文，约2900字，阅读约需7分钟。发表于：。“涌现能力”可谓是大模型的神来之笔：这些能力在小规模模型中不存在，而仅在大规模模型中存在。涌现能力的神奇之处就在于两点：第一，锐利性，似乎它们瞬间从不存在变为存在；第二，不可预测性，不知道在什么规模的模型上就突现了。 涌现能力相关的讨论在大模型出圈之后一直被津津乐道，尤其是在训练出的模型能力不达预期时，时常背锅：可能是模型不够大，所以不具备这样的能力。问题来了，涌现能力是否真的是大规模模型才...
研究人员发现，大规模语言模型的涌现能力是由于衡量指标的选择，而非模型行为的根本性变化。非线性或不连续的衡量标准会导致明显的涌现能力，而线性或连续的度量标准会导致模型性能的平滑、连续、可预测的变化。涌现能力的消失与指标选择相关，不是大规模模型的基本属性。该论文于去年4月底发布，并获得最佳论文奖。
