大型语言模型如何获得其能力(定律)?
📝
内容提要
本研究解决了大型语言模型在多次尝试下成功率的标度问题,指出单次尝试成功概率的重尾分布如何导致聚合的多项式标度现象。通过验证每个问题的失败率与尝试次数之间的指数关系,研究揭示了这一定律与神经语言模型推理计算性能提升之间的内在联系,提供了预测功率定律指数的新方法。
🏷️
标签
➡️