BriefGPT - AI 论文速递 · 2024-10-21T00:00:00Z LDAdam: An Adaptive Optimization Method Based on Low-Dimensional Gradient Statistics 💡 原文英文，约100词，阅读约需1分钟。 📝 内容提要 本文介绍了LDAdam，一种内存高效的优化器，适用于大模型训练。它在低维子空间内自适应优化，同时探索完整参数空间，降低内存占用，并通过新规则实现语言模型的高效微调和预训练。 🏷️ 标签 LDAdam 优化器 内存高效 大模型 微调 阅读原文 生成长图 分享链接 已复制链接
