Ilya彻底离开OpenAI!超级对齐团队解散!Sam Altman,摆脱束缚,OpenAI从此一骑绝尘?还是ChatGPT未来堪忧?
内容提要
伊利尔离开超级对齐团队,团队解散,OpenAI失去束缚。伊利尔离职后未回到OpenAI办公室,团队人员流失。超级对齐团队负责与各部门沟通协调,但缺乏支持。各大模型公司的安全策略不同,中国采用责任制。未来可能出现新公司或组织监管大模型。OpenAI可能带来损害,但会重新爬起来。
延伸解读
超级对齐团队为何难以为继
文章指出,超级对齐团队需要与各部门协调并获取算力资源,但负责人伊利尔长期远程工作,沟通桥梁缺失,导致团队难以推动工作。同时,承诺的20%算力经常无法落实,人员不断流失。这说明安全团队若缺乏高层支持和资源保障,即使目标宏大也难以持续运作。
安全策略的四种路径对比
文章对比了四家前沿公司的安全策略:Anthropic采用宪法AI,用强制规则约束输出;OpenAI通过弱到强泛化,用小模型监督大模型;Meta的Llama 3使用激励训练法,对安全和有效输出给予正向反馈;谷歌则因部门众多、政治正确过度,导致Gemini输出受限甚至翻车。不同策略反映了各自对安全与效用的权衡。
团队解散后的潜在风险
超级对齐团队解散后,安全审核职责被分散到各产品团队,由团队自行确认对齐。文章认为,这可能导致产品发布速度加快,但翻车概率上升,因为缺乏独立判断和统一标准。尤其面对端到端视频、语音模型,原有对齐方法已力不从心,未来安全事故可能更多。
监管与未来走向
文章提到,中国采用牌照制和责任制管理大模型,出错可能暂停整改甚至吊销牌照,使公司更谨慎。美国监管相对宽松。未来可能出现新的公司、非营利组织或政府机构来监管大模型,伊利尔也可能牵头成立新组织或加入其他公司。OpenAI可能因缺乏制衡而遭遇更大隐患,但未必因此倒下。
Q&A
伊利尔离开超级对齐团队的原因是什么?
伊利尔离开是因为他自去年11月以来未回到OpenAI办公室,团队缺乏支持和资源,导致解散。
超级对齐团队解散对OpenAI有什么影响?
解散后,OpenAI的安全审核机制受到影响,可能导致产品发布的安全性降低。
不同大模型公司的安全策略有什么区别?
各大模型公司的安全策略不同,中国采用责任制,而OpenAI的超级对齐团队则面临资源不足的问题。
未来可能出现哪些新组织来监管大模型?
未来可能会出现新的公司或非营利组织来监管大模型,甚至可能由伊利尔牵头成立。
OpenAI的超级对齐团队面临哪些具体问题?
团队面临沟通协调困难、资源不足和人员流失等问题,导致工作效率低下。
伊利尔离开后,OpenAI的未来会如何发展?
尽管OpenAI可能会遭受损害,但也有可能在未来重新崛起,快速发布新产品。