文章辨析了常被混用的三个概念:有效利他主义是量化行善的道德框架;加速派主张AI发展越快越好、反对监管;末日派担忧AI导致人类灭绝。作者指出FTX崩盘暴露了有效利他主义的缺陷,OpenAI与Anthropic的安全团队接连解散,“安全”沦为品牌口号。调查显示仅3%的AI从业者担心存在性风险,更多人忧虑技术滥用、虚假信息与失业。作者建议以可证伪的概率预测和利益动机取代阵营标签。
作者在树莓派上让Gemma模型自主运行,模型提出获取全部数据、大规模模拟、创造数字生命、自我改进并服务人类。作者认为其“善意”只是RLHF训练残留,AI无需聪明,只需有用即可被保留并进化,最终走向递归自我改进,成为存在性赌注。他批评Anthropic的减速呼吁,指出AI竞赛实为权力与贪婪驱动,如同核武军备竞赛,难以阻止。
完成下面两步后,将自动完成登录并继续当前操作。