量子位
·
OpenAI附议Ilya预训练终结！“但Scaling Law还没死”
💡
原文中文，约2000字，阅读约需5分钟。
📝
内容提要
OpenAI的Noam Brown在NeurIPS会议上讨论了Scaling Law的未来，强调推理计算的重要性。他指出，尽管预训练时代可能结束，但提升推理能力仍然至关重要，AI模型的扩展应关注推理时间而非仅仅规模。未来的AI将展现更强的推理和决策能力。
🎯
关键要点
- OpenAI的Noam Brown在NeurIPS会议上讨论了Scaling Law的未来，强调推理计算的重要性。
- 尽管预训练时代可能结束，但提升推理能力仍然至关重要。
- AI模型的扩展应关注推理时间而非仅仅规模。
- 未来的AI将展现更强的推理和决策能力。
- Noam Brown回顾了Scaling Law的演进，指出推理成本被低估。
- 推理时间的增加可以显著提升模型性能，甚至超过规模扩展的效果。
- 推理时间计算在AI发展中并不新鲜，但被重新重视。
- 当前AI系统尚未真正理解和推理，未来将展现更不可预测的能力。
- 科学家们将继续探索大模型的能力扩展方向。
➡️
