爱范儿
·
OpenAI 下一代模型遭遇重大瓶颈，前首席科学家透露新技术路线
内容提要
OpenAI的新语言模型「Orion」面临性能瓶颈，提升幅度低于GPT-4，编程能力可能不及前者。训练数据不足和高成本使未来模型开发面临挑战。尽管如此，研究人员认为AI发展不会迅速放缓，Orion预计于2025年推出。
关键要点
-
OpenAI的新语言模型Orion面临性能瓶颈，提升幅度低于GPT-4。
-
Orion在编程能力上可能不及GPT-4，尽管在语言技能上更强。
-
训练高质量文本和数据的供应减少，导致找到好的训练数据变得困难。
-
未来的训练将更加耗费计算资源和财力，开发成本将显著增加。
-
OpenAI成立团队研究训练数据匮乏和大模型扩展定律的问题。
-
扩展定律描述了投入与产出之间的关系，模型性能提升可能会遇到瓶颈。
-
预计到2026年至2032年，大语言模型的发展将耗尽现有的公共人类文本数据资源。
-
尽管存在经济问题，研究人员认为人工智能的发展不会迅速放缓。
-
OpenAI的高管表示尚未达到传统扩展定律的极限，仍在开发数据中心以提升性能。
-
测试时计算（TTC）在模型部署后的推理中变得越来越重要。
-
OpenAI联合创始人指出，当前已进入探索和发现的时代，扩大正确的规模比以往更重要。
-
Orion预计于2025年推出，命名为Orion而非GPT-5，暗示可能的革命。
延伸解读
性能瓶颈的影响
OpenAI的新模型Orion在性能提升上遇到瓶颈，尤其在编程能力上可能不及GPT-4。这意味着用户在选择AI工具时需谨慎，特别是在需要高编程能力的应用场景中，可能仍需依赖于现有的更成熟模型。
训练数据的挑战
随着高质量训练数据的供应减少，未来模型的开发将面临更大挑战。研究人员需关注如何获取和利用有限的数据资源，以确保模型的持续进步。对数据的依赖性也可能导致开发成本显著增加。
扩展定律的局限性
扩展定律表明，随着模型规模的扩大，性能提升可能会逐渐减缓。开发者在设计新模型时需考虑这一点，以避免在资源投入上出现不成比例的回报，确保技术的可持续发展。
未来的AI发展趋势
尽管面临经济和技术挑战，OpenAI的研究人员仍对AI的发展持乐观态度。他们认为，通过优化推理时间和后期改进，AI的整体进步不会受到显著影响。关注这些优化策略将是未来AI发展的关键。
延伸问答
Orion模型的性能提升与GPT-4相比如何？
Orion模型的性能提升低于GPT-4，质量提升较小。
Orion在编程能力上与GPT-4相比有什么不同？
尽管Orion在语言技能上更强，但在编程能力上可能不及GPT-4。
未来大语言模型的开发面临哪些挑战？
未来的开发将面临训练数据不足和高成本的挑战。
扩展定律在AI模型训练中有什么重要性？
扩展定律描述了投入与产出之间的关系，影响模型性能提升的速度。
Orion预计何时推出？
Orion预计将在2025年推出。
OpenAI如何应对训练数据匮乏的问题？
OpenAI成立了一个团队研究如何应对训练数据匮乏的问题。
