BriefGPT - AI 论文速递 · 2025-01-21T00:00:00Z

FOCUS：一阶集中更新方案

📝

内容提要

本研究提出了一种新优化器FOCUS，旨在提升大型语言模型（LLM）的预训练性能。实验结果表明，FOCUS在高噪声环境下优于Signum和Adam，显示出梯度噪声可能是LLM训练中的一个被低估的限制因素。

🏷️

标签

FOCUS 优化器 大型语言模型 梯度噪声 预训练