OpenAI提出以困惑度(交叉熵损失)作为衡量AI预训练进展的共享指标:困惑度越低,模型预测能力越强,GPT-2至GPT-4的能力跃升均伴随困惑度下降。作者认为,AI对预训练算法研究的加速可能带来突变式进展,预计困惑度降至约0.68–0.7时将出现新的变革性能力。因此建议前沿开发者建立透明度标准,并设定基于困惑度的共同开发上限,直到对齐与监控能力达到具体里程碑。
完成下面两步后,将自动完成登录并继续当前操作。