PMSS：用于大规模语言模型微调的预训练矩阵骨架选择
原文中文，约300字，阅读约需1分钟。发表于：。本研究针对低秩适应（LoRA）方法的低秩假设限制和初始化方法不足等问题，提出了PMSS（预训练矩阵骨架选择）。该方法通过从预训练权重矩阵中选择骨架，只学习一个小矩阵，实现了高秩更新，同时降低了成本。实验表明，PMSS在多个任务上超越了LoRA及其他微调方法，尤其在复杂任务如DROP基准和数学推理中表现显著提升。
研究比较了Low-Rank Adaptation (LoRA)和全精调在编程和数学领域的表现。结果显示，LoRA通常不如全精调，但它能更好地保持基础模型在其他任务中的表现，并生成更多样化的结果。全精调的学习扰动比LoRA高10-100倍，这可能导致性能差距。文章还提供了LoRA精调的最佳实践建议。
