p(doom)
内容提要
作者与Yudkowsky辩论AI风险，核心分歧在于AI更像形式系统还是难以解析的权重矩阵，作者持后者观点并认为这是好事。作者指出超级智能无法解决一次性囚徒困境，也无法证明彼此属性；AI编程仍会有bug，搜索与优化并非魔法。大脑接近兰道尔极限，进化已优化效率。机器智能将像机械力一样缓慢可预测地崛起，算力约每4年翻倍，经济翻倍约需2年，这并非末日而是好事。
延伸解读
AI更像权重矩阵而非形式系统
作者与Yudkowsky的核心分歧在于AI的本质：是形式系统还是难以解析的权重矩阵。作者认为AI将永远更像后者，且这是好事。这意味着AI的行为难以用形式化规则完全预测或证明，但这也避免了形式系统可能带来的僵化风险。读者应关注这一分歧对AI安全研究的启示：若AI本质不可解析，则试图通过形式验证确保安全可能徒劳。
超级智能无法解决一次性囚徒困境
作者指出，即使超级智能也无法在一次性囚徒困境中确保合作，因为无法证明对方属性。MIRI的研究仅对“模态智能体”有效，且要求读取源代码，这在现实中不可行。这提醒我们，不要高估AI解决复杂社会困境的能力，AI对齐研究需正视这一根本限制，而非寄望于超级智能的“魔法”。
AI编程仍会有bug，搜索优化并非魔法
作者强调，即使AI编程能力超越人类，也不意味着零bug。在竞争环境中，追求零bug会导致速度过慢而失败。搜索和优化本质上是困难的，AI无法破解AES密钥，也难以一次性设计出钻石纳米机器人。读者应理性看待AI能力：它受限于计算复杂性，并非无所不能。
机器智能的崛起缓慢且可预测
作者用算力增长数据说明：全球机器算力约2 zettaflops，人类约16万 zettaflops，机器需16次翻倍才能追平。算力约每4年翻倍，经济翻倍约需2年，远慢于每日翻倍。这种速度类似机械力的崛起，缓慢且可预测，并非末日，反而可能带来经济繁荣。读者可从中获得对AI发展节奏的理性预期。
Q&A
作者和Yudkowsky在AI风险辩论中的核心分歧是什么？
核心分歧在于AI更像形式系统还是难以解析的权重矩阵。作者认为AI更像后者，并且永远如此，认为这是好事。
超级智能AI能解决一次性囚徒困境并实现合作吗？
作者认为不能。因为支付矩阵决定了最优策略是说服对方合作而自己背叛，最终导致双方背叛。对于现实世界中两个有时间限制的复杂系统，作者99%确定这是不可能的。
为什么AI编程仍然会有bug？
因为搜索和优化并非魔法，它们只是困难。如果追求零bug，编码速度会太慢，在竞争环境中会失败。
大脑接近兰道尔极限意味着什么？
意味着进化在效率上进行了残酷优化，大脑的大小可能是效率最优的结果。更大的大脑会消耗更多能量，在祖先环境中不是好的权衡。
机器智能的崛起速度有多快？
作者认为会像机械力一样缓慢可预测地崛起。全球算力约每4年翻倍，而经济翻倍约需2年，这并非末日而是好事。
为什么作者认为AI的崛起不是末日而是好事？
因为经济翻倍时间约为2年，这是一个人类可接受的数字，不像每天翻倍那样可怕，所以作者认为这听起来很棒。
