BriefGPT - AI 论文速递 · 2024-10-24T00:00:00Z

The Key Role of Initialization in Matrix Decomposition

📝

内容提要

本研究探讨了低秩矩阵分解中初始化对收敛速度的影响，提出了Nystrom初始化，显著提升了ScaledGD的全局收敛性，并扩展至低秩适配器（LoRA），在多项任务中表现优异。

🏷️

标签

LoRA Nystrom ScaledGD 低秩矩阵分解 初始化