内容提要
文章辨析了常被混用的三个概念:有效利他主义是量化行善的道德框架;加速派主张AI发展越快越好、反对监管;末日派担忧AI导致人类灭绝。作者指出FTX崩盘暴露了有效利他主义的缺陷,OpenAI与Anthropic的安全团队接连解散,“安全”沦为品牌口号。调查显示仅3%的AI从业者担心存在性风险,更多人忧虑技术滥用、虚假信息与失业。作者建议以可证伪的概率预测和利益动机取代阵营标签。
延伸解读
概念混用背后的认知陷阱
文章指出,有效利他主义是道德框架,加速派和末日派是AI发展路线标签,LessWrong是社区来源,三者层级不同却被公众混为一谈。这种混用导致人们误以为在辩论AI未来,实则只是在认领身份标签。理解这些概念的区别,有助于避免被阵营话语带偏,更理性地讨论技术风险与治理。
安全团队解散与品牌化风险
OpenAI超级对齐团队解散、Anthropic安全负责人离职等事件显示,AI公司的安全团队接连瓦解,而“安全”一词在公共话语中却越来越响。文章暗示,当安全沦为品牌定位而非工程实践,它可能无法真正约束风险。读者应关注公司组织架构变化与安全承诺之间的落差,而非轻信口号。
专家担忧与公众讨论的错位
调查显示,仅3%的AI从业者担心存在性风险,更多人忧虑恶意使用、虚假信息和失业。然而政策讨论常被存在性风险主导。文章提醒,最熟悉技术的人反而更关注近期危害,而末日叙事可能挤占对现实问题的关注。这种错位值得警惕,避免让极端标签掩盖切实的社会影响。
用可证伪预测替代阵营标签
文章建议,与其争论加速派或末日派,不如要求对方给出具体概率预测,如AI在2030年前取代50%白领工作的概率及依据。同时,关注谁在拿钱、谁有利益动机,并参考LessWrong等社区公开记录预测的做法。这些方法能帮助读者基于证据而非身份标签形成判断。
Q&A
有效利他主义、加速派和末日派到底有什么区别?
有效利他主义是一套量化行善的道德框架,主张用规模、可操作性和被忽视程度来衡量慈善和职业选择;加速派(e/acc)主张AI发展越快越好、反对监管;末日派则担忧AI可能导致人类灭绝。三者层级不同:EA是道德框架,加速派和末日派是AI发展路线上的标签,常被混用但并非同一阵营。
FTX崩盘对有效利他主义造成了什么影响?
FTX创始人山姆·班克曼-弗里德曾是EA运动的招牌,公开承诺赚无限多的钱然后全部捐出。2022年11月FTX崩盘,客户资金被挪用,他于2023年被判盗窃数十亿美元罪名成立。这暴露了EA的缺陷:一套用数学和证据最大化善的哲学,却培养出骗子。批评者指出,EA信徒认为为人类冒险值得,班克曼-弗里德说服了许多人与他结盟。FTX慈善团队辞职时发公开信谴责欺骗行为。
OpenAI和Anthropic的安全团队为什么接连解散?
OpenAI的超级对齐团队于2023年7月成立,承诺投入20%算力,但不到一年,负责人苏茨克维和莱克于2024年5月离职,团队解散。莱克离职时说安全正在“让位于光鲜产品”。Anthropic的高级AI安全负责人姆里南克·夏尔马于2026年2月离职,去攻读诗歌学位。OpenAI的Preparedness团队也在2026年7月末解散。公司冲刺IPO的时间窗口恰好在安全团队瓦解的同一时期,独立安全团队被视为发布流程的不确定因素。
AI从业者最担心的是什么?存在性风险排第几?
伦敦大学学院调查了四千多名AI专业人士,只有3%的人担心存在性风险。他们最担心的是恶意使用(11%)、一般性滥用(10%)、虚假信息(9%)、工作被取代(7%)。这些是正在发生、有记录可查、影响真实的人的事。另一项调查用预设概率方式问AI导致人类灭绝的概率,中位数是5%。
如何判断一个人对AI的预测是否可信?
不要问对方是加速派还是末日派,而要问具体问题:你认为AI在2030年前取代50%以上白领工作的概率是多少,为什么是这个数字,依据是什么。如果连可证伪的概率估计都给不出,阵营标签就是社交装饰品。还要看谁愿意公开记录预测并接受打分,比如LessWrong社区的年度预测比赛和校准训练。最后注意谁在拿钱:说放慢AI的人如果公司正冲刺IPO,说EA能拯救世界的人如果交易所刚挪用客户存款,都需要重新计算可信度。
为什么说用“末日派”或“加速派”标签会陷入认知陷阱?
因为这三个词被混在一起用,用着用着就没人在乎它们到底在说什么了。你以为在辩论AI的未来,实际上只是在认领一个身份。当“末日派”和“加速派”变成全球精英的必备标签,真正该被讨论的东西——虚假信息、就业冲击、算法歧视——全被挤到了边缘。作者建议用可证伪的概率预测和利益动机分析取代阵营标签。