本文介绍了LDAdam，一种内存高效的优化器，适用于大模型训练。它在低维子空间内自适应优化，同时探索完整参数空间，降低内存占用，并通过新规则实现语言模型的高效微调和预训练。

LDAdam: An Adaptive Optimization Method Based on Low-Dimensional Gradient Statistics
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证