本文介绍了在有限硬件资源（如消费级GPU）上训练大型语言模型的七种技术：QLoRA量化低秩适配、GaLore低秩优化器、FSDP/ZeRO-3分片与内存卸载、选择性激活检查点、FlashAttention-2融合内核、FP8混合精度训练，以及RingAttention序列分块。这些方法通过优化内存层次管理，在降低显存占用和带宽需求的同时，实现与大规模集群相当的训练效果，并强调需监控静默故障以避免算力浪费。