➡️
继续阅读
-
饭局对成年人关系维系作用初探
饭局对成年人维系社会关系作用显著。通过客户、同事、亲戚及弱关系等实例，指出饭局能让人放松、增进信任，比送礼更自然有效。虽非唯一手段，但实施容易、成本低，是...
-
蒂姆·费里斯秀文字记录：克服逆境的故事，以及如何将失败转化为胜利——蒂姆·麦格罗、特里·克鲁斯、达克斯·谢泼德等（第881期）
该播客节目汇集多位嘉宾（如蒂姆·麦格罗、特里·克鲁斯等）分享失败经历，讲述如何将挫折转化为成长契机，强调主动掌控人生、从错误中学习，并视障碍为机遇而非阻碍。
-
省 token 故事 · 各自为政 - 编程一生
多智能体并行虽高效，但每个智能体需独立上下文，重复阅读文件导致token成本高。自查不可靠，需独立质检。任务书应自包含且窄，验收独立派人，能串行则不并行。...
-
显存账本：每张卡上住着什么，搬走付什么
本文介绍训练大模型时显存管理的通用记账方法。显存分为五类：权重、梯度、优化器状态、激活和通信缓冲。前三类由参数量和并行度决定，激活随输入长度增长，优化空间...
-
数据并行与 ZeRO：三级分片各省多少
本文介绍数据并行与ZeRO优化技术。ZeRO通过三级分片（优化器状态、梯度、权重）减少显存占用，前两级不增通信量，第三级需额外all-gather。ZeR...
-
流水线并行：1F1B、虚拟段与气泡
本文介绍流水线并行中气泡的产生与优化。将模型按层切段、批次分微批后，段间等待形成气泡。四代调度各改一点：GPipe先全前向再全反向，显存高；1F1B改交替...
