前OpenAI联创、ChatGPT负责人John Schulman:大模型的升级秘诀

💡 原文中文,约14900字,阅读约需36分钟。
📝

内容提要

OpenAI联合创始人John Schulman离职,加入Anthropic。他预测AI将承担更复杂任务,泛化能力和推理能力将提升。AI部署需与人类价值观和需求保持一致。

🔎

延伸解读

预训练与后训练的分工

Schulman在访谈中解释,预训练让模型模仿互联网内容,获得广泛知识;后训练则塑造模型成为有用的聊天助手,优化人类偏好。两者结合提升模型能力,但后训练需要大量隐性知识和研发积累,形成竞争优势。

泛化能力的关键作用

Schulman强调泛化能力让模型能从少量数据中学习纠正错误。例如,用英语数据微调后,模型能处理其他语言查询;少量示例即可解决模型错误声称能发送邮件的问题。泛化强的模型无需大量数据就能适应新任务。

AI对齐与安全部署

Schulman离开OpenAI加入Anthropic,专注于AI对齐研究。他认为,随着AI性能提升,可能需要暂停训练以确保安全。他主张逐步部署更智能的系统,并建立监控系统,确保AI行为一致,防止潜在风险。

未来AI的任务与局限

Schulman预测,未来一两年内AI将能承担整个编码项目,理解高层次指令,自主编写代码并迭代。但当前模型在长期连贯性、深入思考等方面仍有缺陷,仅提升连贯性不足以实现AGI。

❓

Q&A

John Schulman离开OpenAI的原因是什么?

John Schulman离开OpenAI是为了专注于AI对齐研究,确保技术的安全性。

Schulman在ChatGPT项目中负责什么技术?

Schulman负责ChatGPT项目中的RLHF(人类反馈的强化学习)技术的研究与开发。

未来AI的推理能力将如何提升?

未来AI的推理能力将通过结合多种训练方式和后训练阶段的优化来提升。

AI部署需要考虑哪些人类价值观?

AI部署需与人类的价值观和需求保持一致,以确保技术的安全和有效性。

Schulman对AI对齐研究的看法是什么?

Schulman强调AI对齐研究的重要性,认为需要暂停进一步训练以确保安全。

未来AI将如何协助人类进行研究?

未来AI将能够理解高层次指令,协助进行各类研究,提升工作效率。

🏷️

标签

➡️

继续阅读