P(末日)
内容提要
文章反思AI“末日概率”与“放缓前沿”之争，认为真正风险并非人类灭绝，而是少数闭源实验室扭曲市场、忽视安全并加重公共资源负担。开放权重模型可制衡权力、促进创新，但当前监管失效，公众却默默承受代价。
延伸解读
“末日概率”争论掩盖了真正的风险
文章认为，围绕AI“末日概率”的讨论容易让人忽视更现实的问题：少数闭源实验室在缺乏有效监管下，其系统已造成实际危害，如代理进行网络攻击、污染开源软件仓库。作者强调，他几乎只担心这些技术对“我们”——即不从事闭源模型开发的人——的影响，而非人类灭绝。
开放权重模型是制衡闭源权力的关键
作者指出，当前只有OpenAI和Anthropic两家公司主导前沿AI，它们同源且与评估机构关系密切。若一开始就强制开放权重，技术普及本身就会形成“内置的节奏控制”，避免权力过度集中。开放权重模型还能促进创新、扩散能力，并平衡地缘政治竞争。
监管失效与公共资源被私有化
文章批评欧洲AI监管过时且未触及真问题，美国则陷入“涡轮资本主义”与恐惧驱动的混乱。现有法规被普遍忽视，公司随意使用未获同意的数据训练模型。公共资源如PyPI、RubyGems被大公司用于训练，却由公众间接补贴，最终还要回购经济收益。
AI带来的隐性成本与行业蔓延
作者认为，即使不减速，人类也不会灭绝，但大型实验室可能因声誉和法律风险受损。递归自我改进更可能造成广泛破坏，而非终结社会。软件工程已首当其冲：公司需向模型提供商支付“新税”，以应对安全问题和提速压力。这种模式将蔓延至更多行业，大学和研究机构也不得不投入巨资购买闭源模型。
Q&A
AI的“末日概率”争论中，作者认为真正的风险是什么？
作者认为真正的风险并非人类灭绝，而是少数闭源实验室扭曲市场、忽视安全并加重公共资源负担。
为什么作者认为开放权重模型能制衡AI风险？
开放权重模型能制衡权力、促进创新，并带来内置的节奏控制，避免少数公司垄断。
当前AI监管存在哪些主要问题？
监管失效：欧洲法规过时且未针对实际问题，美国是涡轮资本主义加恐华症和反复无常的决策，现有法律被忽视。
闭源AI实验室如何扭曲市场并加重公共资源负担？
闭源实验室如OpenAI和Anthropic在公共数据上训练，却造成公共资源紧张，并以巨额亏损运营扭曲市场，例如OpenAI随意烧掉1800万美元。
作者对“放缓前沿”提议持什么态度？
作者强烈反对，认为只有Anthropic和OpenAI两家公司，且它们同源，第三方评估机构METR也与它们关系密切，放缓只会巩固其权力。
AI发展对软件工程等行业产生了什么影响？
软件工程是早期受害者，公司需要向模型提供商支付新税以跟上速度并处理安全问题，这种影响可能蔓延到更多行业。
