内容提要
谷歌研发Frozen v2芯片,将Gemini模型部分决策蚀刻于硅晶片,吞吐量较现有TPU提升6至10倍,计划2028年量产。此举应对算力短缺,但全蚀刻限制模型更新,故采用冻结架构、允许权重更新的方案,以延长寿命并支持多版本模型,与TPU并行发展。
延伸解读
蚀刻芯片的取舍:速度与灵活性的平衡
将模型权重蚀刻到硅晶片能大幅提升吞吐量,但代价是芯片制造后无法更新模型。谷歌的Frozen v2方案通过只蚀刻部分决策、允许权重更新,试图在速度与灵活性之间取得平衡。这种设计既保留了蚀刻带来的性能优势,又避免了芯片因模型快速迭代而过早淘汰,延长了使用寿命。
应对算力短缺的多元化策略
谷歌研发Frozen v2芯片的动因是应对人工智能计算资源的严重短缺。此前谷歌已与SpaceX合作租用算力,但算力紧缺仍影响其云计算平台,甚至不得不拒绝部分外部客户订单。投资芯片研发成为谷歌在无法获得更多算力情况下的应对方案,体现了其多元化策略。
Frozen v2的定位:实验与并行发展
谷歌并不打算以TPU的规模生产Frozen v2,而是将其作为实验品,为后续更专业的芯片研发做准备。该芯片将与现有TPU产品线并行发展,而非取代。这表明谷歌在探索新架构的同时,仍依赖成熟的TPU产品线,体现了稳健的技术演进策略。
Q&A
谷歌正在研发的Frozen v2芯片是什么?
Frozen v2是谷歌正在研发的一款人工智能数据中心芯片,其特点是将Gemini模型的部分决策直接蚀刻到硅晶片上,以提高推理吞吐量。
Frozen v2芯片相比谷歌现有TPU在性能上有何提升?
据知情人士称,Frozen v2芯片在单位功耗下可处理的token数量是谷歌最新TPU张量计算单元的6到10倍。
谷歌为什么研发Frozen v2芯片?
主要原因是应对人工智能计算资源的严重短缺。谷歌自身算力紧缺,甚至不得不拒绝部分外部客户订单,因此投资芯片研发以缓解算力压力。
将模型权重蚀刻到硅晶片上有哪些优缺点?
优点是可以减少芯片执行的步骤数和每次查询的数据量,显著加快推理速度,提高吞吐量。缺点是蚀刻的电路无法更改,芯片制造后无法更新模型,会缩短芯片使用寿命。
Frozen v2与Frozen v1方案有何不同?
Frozen v1计划将整个模型权重蚀刻到芯片中,但因寿命问题被搁置。Frozen v2采用冻结架构但允许更新权重的设计,只蚀刻部分决策,使芯片能在多个版本的Gemini模型中使用。
Frozen v2芯片的量产计划是什么?
如果顺利,谷歌计划在2028年将Frozen v2芯片量产并投入使用。
Frozen v2芯片是否会取代谷歌现有的TPU?
不会。谷歌不打算以TPU的规模生产Frozen v2,而是将其作为实验品,为后续研发更专业的芯片做准备。该芯片将与现有TPU产品线并行发展,而非取而代之。