大模型的涌现能力是幻象？

研究人员发现，大规模语言模型的涌现能力是由于衡量指标的选择，而非模型行为的根本性变化。非线性或不连续的衡量标准会导致明显的涌现能力，而线性或连续的度量标准会导致模型性能的平滑、连续、可预测的变化。涌现能力的消失与指标选择相关，不是大规模模型的基本属性。该论文于去年4月底发布，并获得最佳论文奖。