💡
原文中文，约4700字，阅读约需12分钟。
📝
内容提要
OpenAI 正在调整策略，因大模型提升速度放缓，数据资源即将耗尽，未来发展可能受限。尽管存在争议，内部人士认为 AI 仍将快速进步，新的技术和方法正在开发以应对数据匮乏问题。
🎯
关键要点
- OpenAI 正在调整策略，因大模型提升速度放缓，数据资源即将耗尽。
- 预计到 2028 年，已有的数据储量将被全部利用完，导致大模型发展可能放缓。
- OpenAI 的下一代旗舰模型质量提升幅度不及前两款模型之间的提升。
- AI 产业界重心转向在初始训练后再对模型进行提升。
- OpenAI 成立基础团队研究如何应对训练数据匮乏问题。
- OpenAI 的研究科学家认为 AI 发展短期内不会放缓，仍将快速进步。
- Orion 模型的性能提升幅度小于之前的旗舰模型，且在某些任务上表现不如前代模型。
- OpenAI 正在开发新技术以增强大型语言模型的性能。
- AI 行业正在将精力转向训练后对模型进行改进，可能产生不同类型的 scaling laws。
- OpenAI 员工表示，GPT 速度放缓的原因之一是高质量数据供应量减少。
- OpenAI 正在利用强化学习和人类反馈来改进模型性能。
- o1 推理模型的开发为大模型的扩展提供了新维度。
- 投资者对大语言模型的进步速度是否趋于平稳表示怀疑。
- 大模型在某些任务上表现停滞，但在其他方面仍在进步。
❓
延伸问答
OpenAI为什么要调整其大模型的发展策略？
OpenAI调整策略是因为大模型提升速度放缓，数据资源即将耗尽，预计到2028年已有的数据储量将被全部利用完。
Orion模型与之前的模型相比有什么不同？
Orion模型的性能提升幅度小于之前的旗舰模型，且在某些任务上表现不如前代模型。
AI行业如何应对训练数据的匮乏问题？
AI行业正在将重心转向在初始训练后对模型进行提升，并成立团队研究如何应对训练数据匮乏问题。
OpenAI的研究人员对AI发展的看法是什么？
OpenAI的研究人员认为AI发展短期内不会放缓，仍将快速进步，并在开发新技术以增强模型性能。
大模型的scaling laws是否会崩溃？
OpenAI研究者Noam Brown表示，未来可能会出现scaling范式崩溃的情况，尤其是在经济上训练更先进模型的可行性受到质疑。
OpenAI如何利用人类反馈来改进模型？
OpenAI通过带有人类反馈的强化学习（RLHF）来改进模型性能，要求人类评估人员对模型的答案进行评分。
➡️
