CoMERA：基于等级自适应张量优化的计算和内存高效训练
内容提要
本研究提出了Gradient Low-Rank Projection (GaLore)训练策略，实现了大规模语言模型的全参数学习，优化器状态内存使用减少65.5%。同时，针对深度学习推荐模型的内存容量问题，提出了Tensor Train分解，显著压缩模型大小而不影响准确性。
延伸解读
GaLore 的内存优化与硬件可行性
GaLore 通过梯度低秩投影，将优化器状态内存减少 65.5%，使得在 24GB 显存的消费级 GPU（如 RTX 4090）上预训练 7B 模型成为可能。这降低了大规模语言模型训练的门槛，让研究者和开发者能在有限硬件资源下进行全参数学习，而无需依赖高端专业卡。
Tensor Train 分解在推荐模型中的压缩效果
针对推荐模型嵌入表的内存瓶颈，Tensor Train 分解被用于压缩模型。在 Kaggle 和 Terabyte 数据集上，TT-Rec 及其核心组件 TT-EmbeddingBag 实现了 117 倍和 112 倍的模型大小压缩，且没有牺牲准确性或增加训练时间。这表明该压缩方法在推荐系统中具有实际应用潜力。
其他内存优化技术的对比与启示
文章还提及了 ZeRO、序列并行与选择性激活重算等技术，它们分别从优化器状态、激活内存等角度提升训练效率。与 GaLore 和 Tensor Train 分解类似，这些工作共同反映了深度学习训练中内存优化的重要性，但各自适用场景不同，读者可根据任务需求选择合适方案。
Q&A
GaLore训练策略的主要优势是什么？
GaLore训练策略实现了大规模语言模型的全参数学习，并将优化器状态内存使用减少了65.5%。
在什么样的硬件上可以进行7B模型的预训练？
在具有24GB内存的消费级GPU上，如NVIDIA RTX 4090，可以进行7B模型的预训练。
Tensor Train分解如何解决深度学习推荐模型的内存问题？
Tensor Train分解显著压缩了模型大小，解决了深度学习推荐模型的内存容量问题，同时不影响准确性。
TT-Rec模型在Kaggle和Terabyte数据集上的表现如何？
TT-Rec及其核心部件TT-EmbeddingBag在Kaggle和Terabyte数据集上实现了117倍和112倍的模型大小压缩，且没有影响准确性或训练时间。
GaLore训练策略在多项任务上表现如何？
GaLore训练策略在多项任务上保持了效率和性能，展示了其广泛的适用性。
使用GaLore训练策略的内存效率如何？
使用GaLore训练策略可以显著提高内存效率，优化器状态内存使用减少了65.5%。
