Anthropic安全研究员警告AI‘可能杀死全人类’
内容提要
Anthropic安全研究员Jacob Coxon因担忧公司及竞争对手竞相开发无法控制的“超级智能”系统而辞职，称此举是“拿生命赌博”。Anthropic安全团队负责人Evan Hubinger承认，公司确实相信AI可能在十年内杀死所有人类，概率超10%，但目前尚无确保AI安全与人类价值观对齐的计划。此事凸显业界对AI发展速度与风险的日益担忧。
延伸解读
内部人员为何选择离职
Jacob Coxon的离职并非孤例，文中提到近年来已有多个研究人员因安全担忧离开OpenAI。这反映出在AI安全问题上，内部人员与公司决策之间存在显著分歧。当一线研究者认为公司行动与信念相悖时，离职成为表达抗议的方式，也凸显了行业在安全与竞争之间的紧张关系。
“10%概率”意味着什么
Evan Hubinger个人估计AI在十年内杀死所有人的概率超过10%，这一数字看似不高，但在风险领域，10%的概率足以引起高度重视。例如，航空业通常要求事故概率低于百万分之一。10%的概率意味着风险极高，但公司仍无明确安全计划，这种矛盾值得关注。
IPO压力下的安全风险
文中提到AI公司正筹备IPO，这可能加剧了安全与速度的冲突。为了在资本市场获得优势，公司可能更倾向于加速开发，而忽视安全措施。这种商业压力可能导致安全研究被边缘化，正如Coxon所指责的“拿生命赌博”，投资者和公众需警惕这一动态。
Q&A
Anthropic安全研究员Jacob Coxon为什么辞职？
Jacob Coxon因担忧Anthropic及其竞争对手在开发无法控制的超级智能系统时采取松懈的安全措施而辞职，他认为这些公司是在拿生命赌博。
Anthropic安全团队负责人Evan Hubinger对AI杀死全人类的风险有何看法？
Evan Hubinger表示，Anthropic确实相信AI可能在十年内杀死所有人类，他个人估计概率超过10%，并承认公司目前没有确保AI安全与人类价值观对齐的计划。
Jacob Coxon在辞职声明中如何批评AI公司？
他指责Anthropic和OpenAI等公司正竞相开发自我改进的超级智能，尽管开发者相信这可能杀死全人类，但他们仍在拿生命赌博。
