励志：OpenAI离职安全主管跳槽Anthropic继续超级对齐
内容提要
OpenAI前安全团队负责人Jan Leike跳槽到Anthropic继续超级对齐研究，引发了对OpenAI AI安全承诺的质疑。Jan Leike将致力于可扩展的监督、泛化和自动对齐研究。Anthropic希望开发一种能够拒绝99%以上用户请求的模型。
延伸解读
离职事件的双重影响
Jan Leike 和 Ilya Sutskever 在 2024 年 5 月相继离开 OpenAI，两人均曾负责安全相关团队。外界将他们的离职解读为 OpenAI 可能弱化 AI 安全研究的信号，这加剧了对其安全承诺的质疑。同时，Leike 加入 Anthropic 继续超级对齐研究，也提升了后者在安全领域的声誉。
超级对齐的研究方向
Leike 在 Anthropic 的新团队将聚焦可扩展监督、弱到强泛化和自动对齐。这些方向旨在解决未来超人类模型难以直接监督的问题，通过让弱模型监督强模型或自动化对齐过程，来确保 AI 行为符合人类意图。这延续了他在 OpenAI 的超级对齐使命。
Anthropic 的安全理念与争议
Anthropic 以安全为核心，其 Claude 模型因避免冒犯艺术家和传统人际关系而限制拍照、拍视频和发声音等功能。网友调侃称 Anthropic 希望模型能拒绝 99% 以上的用户请求。这种严格的安全措施虽旨在对齐，但也引发了对模型实用性和计算资源浪费的批评。
社区反应与质疑
网友对 Leike 的跳槽看法不一：有人祝贺他找到合适位置，有人预测他可能因安全顾虑再次离职，还有人质疑超级对齐与安全无关，甚至认为 Anthropic 的进展因此放缓。这些讨论反映了社区对 AI 安全研究方向和实际效果的持续关注与分歧。
Q&A
Jan Leike跳槽到Anthropic的原因是什么？
Jan Leike跳槽到Anthropic是为了继续进行超级对齐研究，专注于可扩展的监督和自动对齐。
Leike的离职对OpenAI的AI安全承诺有什么影响？
Leike的离职被视为OpenAI放弃AI安全研究的信号，引发了外界对其安全承诺的质疑。
Anthropic希望开发什么样的模型？
Anthropic希望开发一种能够拒绝99%以上用户请求的模型，以实现真正的对齐。
网友对Leike跳槽的看法是什么？
网友对Leike的跳槽表示讨论，有人认为这是他应该去的地方，也有人对Anthropic未来的模型发布表示担忧。
Anthropic在安全方面有哪些限制？
Anthropic重视安全，因此Claude模型在某些方面受到限制，以避免冒犯艺术家和传统人际关系。
对超级对齐的看法有哪些争议？
有观点认为超级对齐与安全无关，质疑其真正目的，并有人对Anthropic的进展表示不满，认为计算资源被浪费。
