前OpenAI联创、ChatGPT负责人John Schulman:大模型的升级秘诀
原文中文,约14900字,阅读约需36分钟。
📝
内容提要
OpenAI联合创始人John Schulman离职,加入Anthropic。他预测AI将承担更复杂任务,泛化能力和推理能力将提升。AI部署需与人类价值观和需求保持一致。
🔎
延伸解读
预训练与后训练的分工
Schulman在访谈中解释,预训练让模型模仿互联网内容,获得广泛知识;后训练则塑造模型成为有用的聊天助手,优化人类偏好。两者结合提升模型能力,但后训练需要大量隐性知识和研发积累,形成竞争优势。
泛化能力的关键作用
Schulman强调泛化能力让模型能从少量数据中学习纠正错误。例如,用英语数据微调后,模型能处理其他语言查询;少量示例即可解决模型错误声称能发送邮件的问题。泛化强的模型无需大量数据就能适应新任务。
AI对齐与安全部署
Schulman离开OpenAI加入Anthropic,专注于AI对齐研究。他认为,随着AI性能提升,可能需要暂停训练以确保安全。他主张逐步部署更智能的系统,并建立监控系统,确保AI行为一致,防止潜在风险。
未来AI的任务与局限
Schulman预测,未来一两年内AI将能承担整个编码项目,理解高层次指令,自主编写代码并迭代。但当前模型在长期连贯性、深入思考等方面仍有缺陷,仅提升连贯性不足以实现AGI。
❓
Q&A
John Schulman离开OpenAI的原因是什么?
John Schulman离开OpenAI是为了专注于AI对齐研究,确保技术的安全性。
Schulman在ChatGPT项目中负责什么技术?
Schulman负责ChatGPT项目中的RLHF(人类反馈的强化学习)技术的研究与开发。
未来AI的推理能力将如何提升?
未来AI的推理能力将通过结合多种训练方式和后训练阶段的优化来提升。
AI部署需要考虑哪些人类价值观?
AI部署需与人类的价值观和需求保持一致,以确保技术的安全和有效性。
Schulman对AI对齐研究的看法是什么?
Schulman强调AI对齐研究的重要性,认为需要暂停进一步训练以确保安全。
未来AI将如何协助人类进行研究?
未来AI将能够理解高层次指令,协助进行各类研究,提升工作效率。
🏷️