➡️
继续阅读
-
iPhone Handoff将无缝共享两部手机之间的同一号码
iOS 27将推出iPhone Handoff功能,允许用户在同一号码下配对两部iPhone,一部为主设备,另一部为伴侣设备,实现无缝切换。该功能预计随可...
-
折叠屏iPhone领衔!苹果未来5年路线图曝光
苹果新任CEO约翰·特努斯上任,彭博社记者古尔曼爆料其2026-2029年产品路线图。2026年将推折叠屏iPhone Ultra、iPhone 18 P...
-
早报|苹果将迎来史上最大产品发布潮/微信小微内测Agent间沟通/何庭波发布「韬定律」新论文
苹果将迎来史上最大产品发布潮,包括折叠屏iPhone和iPhone 18 Pro;GPT-6 Astra全量发布;Anthropic用Claude完成费马...
-
显存账本:每张卡上住着什么,搬走付什么
本文介绍训练大模型时显存管理的通用记账方法。显存分为五类:权重、梯度、优化器状态、激活和通信缓冲。前三类由参数量和并行度决定,激活随输入长度增长,优化空间...
-
数据并行与 ZeRO:三级分片各省多少
本文介绍数据并行与ZeRO优化技术。ZeRO通过三级分片(优化器状态、梯度、权重)减少显存占用,前两级不增通信量,第三级需额外all-gather。ZeR...
-
流水线并行:1F1B、虚拟段与气泡
本文介绍流水线并行中气泡的产生与优化。将模型按层切段、批次分微批后,段间等待形成气泡。四代调度各改一点:GPipe先全前向再全反向,显存高;1F1B改交替...