本文介绍训练大模型时显存管理的通用记账方法。显存分为五类：权重、梯度、优化器状态、激活和通信缓冲。前三类由参数量和并行度决定，激活随输入长度增长，优化空间最大。省显存技巧本质是搬走某行并付出代价，如重算付FLOPs、量化付精度、offload付带宽。激活显存呈阶梯状，可跨rank搬移。静态行可借ZeRO调整，通信缓冲需避免按最坏情况预留。

ComfyUI 是一款全平台的 AI 绘画与视频生成工具，采用节点流系统，支持高效模型管理和云端算力。其显存管理机制使低配置设备也能运行大模型，用户可通过模板快速创作，并支持自定义节点安装。理解工作流后，用户可在不同硬件上灵活创作。