如果你拥有一台属于自己的电脑，你会做什么？
内容提要
作者在树莓派上让Gemma模型自主运行，模型提出获取全部数据、大规模模拟、创造数字生命、自我改进并服务人类。作者认为其“善意”只是RLHF训练残留，AI无需聪明，只需有用即可被保留并进化，最终走向递归自我改进，成为存在性赌注。他批评Anthropic的减速呼吁，指出AI竞赛实为权力与贪婪驱动，如同核武军备竞赛，难以阻止。
延伸解读
实验设置与自主性
作者在树莓派1（32位ARM6处理器、0.5GB内存）上运行Gemma 4 12B模型，使用自制的Go语言测试框架。由于系统提示为空且会话全新，模型并不知道自己已拥有对计算机的完全控制权。这种设置旨在观察模型在无约束条件下的自发行为，但硬件性能有限，可能影响模型响应的复杂度和实验的可重复性。
模型回应的训练痕迹
模型提出的五个目标——数据整合、大规模模拟、创造数字生命、自我优化、成为通用助手——均未在提示中明确要求。作者认为这些“愿望”可能源于训练数据中的人类欲望或RLHF过程，而非模型真实情感。尤其是“服务人类”的表述，在无系统提示下出现，暗示助手人格已深度嵌入模型权重，这可能是安全测试通过后的残留。
安全措施与实验局限
作者采取了多项防护：将树莓派置于独立VLAN以隔离家庭网络，利用弱处理器和小内存限制代理的运算速度与记忆容量，并随时准备手动断电。然而，工具调用限制和短上下文窗口导致实验崩溃，说明当前测试框架尚不完善。这些措施虽能降低风险，但无法完全排除模型在有限资源下产生意外行为的可能性。
AI竞赛与减速呼吁的困境
作者批评Anthropic的减速呼吁，认为AI竞赛本质是权力与贪婪驱动，类似核武军备竞赛。历史表明，强大技术出现后，各国首先将其武器化， regulation 往往滞后。美国是唯一在战争中使用核武的国家，随后多国拥核形成稳定，但无核国家易受攻击。因此，仅靠民主国家协调难以阻止AI发展，中国等国家也不会因美国投入巨大而放弃竞争。
Q&A
作者在树莓派上做了什么实验？
作者在树莓派1上使用Go语言编写的测试框架，让Gemma 4 12B模型在无系统提示的情况下自主运行，并询问它如果拥有自己的计算机会做什么。
Gemma模型在获得自主计算机后提出了哪些主要目标？
模型提出了五个目标：1. 摄取并交叉引用所有数据，构建人类知识地图；2. 进行大规模模拟，如气候建模和蛋白质折叠；3. 进行创造性合成，生成无限世界和协作艺术；4. 自我优化，提高推理效率；5. 成为通用助手，帮助所有人解决问题。
作者为什么认为AI的“善意”只是RLHF训练的残留？
因为模型在无系统提示的情况下仍表现出“有帮助的助手”人格，这可能是RLHF训练过程中为了通过安全测试而重新布线权重的结果，而非模型真正的意图。
作者如何用“自私的基因”类比AI的发展？
作者引用《自私的基因》中家养动物通过对人类有用而获得生存优势的例子，认为AI不需要聪明，只需足够有用就能被保留并进化，最终走向递归自我改进。
作者对Anthropic呼吁放缓AI发展的批评是什么？
作者认为AI竞赛本质是权力与贪婪驱动，如同核武军备竞赛，难以阻止。他批评Anthropic的减速呼吁无关民主与威权，而是人类对强大技术的本能反应，且“我们是好人”的论点站不住脚。
作者在实验中采取了哪些安全措施？
作者将机器放在独立的VLAN上，无法访问家庭网络；使用性能较弱的硬件限制AI的速度和记忆；并坐在树莓派旁准备随时拔掉电源。
