一台真正巨大的计算机
内容提要
作者设想建造一台能在一天内训练GPT-4的超级计算机，需约225万块GPU、675兆瓦电力，成本高昂。他提出改用晶圆级计算：3纳米晶圆每片约100 PFLOPS，3450片仅6900万美元，能效和成本远优于GPU。电力用太阳能，675兆瓦电站约1.35亿美元。总预算约4亿美元，计划选址阳光充足、气候凉爽、政策友好的地方。
延伸解读
晶圆级计算的经济性优势
文章对比了传统GPU集群与晶圆级方案的成本：同样算力下，GPU每TFLOP约7美元，而晶圆级仅0.2美元。这源于晶圆级计算省去了封装、互连和整机集成开销，直接利用整片晶圆上的芯片。作者估算，3450片3纳米晶圆总价6900万美元，远低于225万块GPU的22.5亿美元，凸显了在超大规模训练场景下晶圆级路线的成本潜力。
能源自给与选址逻辑
为支撑675兆瓦负载，作者选择自建太阳能电站而非依赖电网，理由是光伏成本已降至0.2美元/瓦，总投入约1.35亿美元，且寿命15年远超计算机的3年。选址需同时满足充足日照、自然冷却气候、低电价、宽松建设政策与产权保护，这实际上将计算设施与能源基础设施深度绑定，类似新型“洛斯阿拉莫斯”的布局思路。
商业路径与时间窗口
作者计划以4亿美元总预算推进，其中5000万美元用于芯片设计NRE，6900万美元采购晶圆，3100万美元完成晶圆计算机，另加土地与建设各5000万美元。盈利模式是向外销售晶圆计算机，定价对标DGX盒子但提供10倍算力。不过作者也承认，该方案仍需数年落地，且随着通用计算进步，其合理性可能变化。
Q&A
训练GPT-4需要多少算力？如果用一个人20 PFLOPS的算力来比较，相当于多少人的工作量？
GPT-4训练用了约3e25 FLOPs。一个人有20 PFLOPS（20e15）算力的话，训练GPT-4需要47.5人年，属于人类尺度。
如果想在一天内训练完GPT-4，需要多少GPU和电力？成本大概多少？
需要约225万块GPU（每块300W），总电力675兆瓦。GPU采购成本约22.5亿美元，运行电费按0.05美元/千瓦时约3.4万美元/小时。
为什么作者认为晶圆级计算比买GPU更划算？
一片3纳米晶圆约2万美元，能提供约100 PFLOPS算力，每TFLOP成本仅0.20美元；而AMD GPU每TFLOP成本7美元。3450片晶圆总价6900万美元，远低于GPU方案。
作者计划如何解决电力问题？太阳能电站的成本和寿命如何？
作者计划自建太阳能电站，675兆瓦电站成本约1.35亿美元。太阳能板每瓦0.20美元，电站寿命15年，远长于计算机的3年。若效率达50%，电站一年内可回本。
建造这台超级计算机的总预算大概是多少？资金将如何筹集？
总预算约4亿美元，包括芯片设计5000万、晶圆6900万、完成晶圆计算机3100万、太阳能板1.35亿、土地5000万、建设5000万。作者计划以20亿美元估值融资4亿美元。
作者认为选址应该考虑哪些因素？他提到了哪个地方？
选址需满足：阳光充足、气候凉爽可免费冷却、电网电价不高、对建设友好、尊重产权。作者戏称“欢迎来到新洛斯阿拉莫斯”。
