本文介绍训练大模型时显存管理的通用记账方法。显存分为五类：权重、梯度、优化器状态、激活和通信缓冲。前三类由参数量和并行度决定，激活随输入长度增长，优化空间最大。省显存技巧本质是搬走某行并付出代价，如重算付FLOPs、量化付精度、offload付带宽。激活显存呈阶梯状，可跨rank搬移。静态行可借ZeRO调整，通信缓冲需避免按最坏情况预留。