黄仁勋AI时代英伟达GPU革命：一场市值2.7万亿美金的狂欢，COMPUTEX 2024重磅发布Blackware GPU，1.8万亿参数GPT4揭秘！
内容提要
黄仁勋在COMPUTEX上展示了英伟达的最新技术，包括GPT-4模型和Blackware GPU。他强调了GPT-4的训练参数达到了1.8T，展示了Blackware GPU的多GPU集成解决方案。然而，英伟达面临着摩尔定律失效、中心转移和巨头合作等威胁。尽管如此，英伟达仍然是一个轻公司，依靠缩放定律和扩大垄断来保持竞争优势。
延伸解读
GPT-4参数揭秘：1.8万亿背后的真实含义
黄仁勋在COMPUTEX上透露GPT-4训练参数达1.8万亿，且为MoE模型。这意味着若分成8份，单个专家模型约200多亿参数。这解释了为何许多号称接近GPT-4的模型实际能力仍有差距，也提醒读者：参数总量并非唯一指标，架构设计同样关键。
Blackwell GPU：从单卡到机架级计算的转变
Blackwell不再以传统单卡形式出现，而是将两块GPU与一颗CPU集成在板卡上，通过NVLink将多台服务器连接，使整个机架像一块GPU工作。这种设计旨在训练更大模型，但兼容性可能不如H100灵活。英伟达已规划到2027年的产品路线，推动用户持续升级。
算力成本与能耗的悖论：单位下降，总量上升
文章指出，虽然达到同等算力的单位成本与能耗大幅下降（如重训GPT-4能耗降至1/350），但整体服务器和GPU价格因专利费、NVLink配件等上涨。英伟达通过制造“军备竞赛”焦虑，促使客户每年更新，维持其垄断地位。
英伟达的轻公司风险：生态链短且脆弱
与苹果、微软等重资产公司不同，英伟达资产较轻，生态链主要围绕少数高端开发者，缺乏大量低端开发者支撑。一旦缩放定律失效、出现更赚钱的应用方向，或巨头联合突破CUDA垄断，英伟达的忠诚度可能迅速下降，面临崩塌风险。
Q&A
黄仁勋在COMPUTEX上展示了哪些新技术？
黄仁勋展示了英伟达的GPT-4模型和Blackware GPU。
GPT-4的训练参数有多少？
GPT-4的训练参数达到了1.8万亿。
英伟达面临哪些主要威胁？
英伟达面临摩尔定律失效、中心转移和巨头合作等威胁。
Blackware GPU的特点是什么？
Blackware GPU提供多GPU集成解决方案，能够实现更强大的计算能力。
英伟达如何保持其市场竞争优势？
英伟达依靠缩放定律和扩大垄断来保持竞争优势。
英伟达的算力提升幅度如何？
算力的提升不仅是5%或10%的增长，而是几倍的飞跃。
