PMSS：用于大规模语言模型微调的预训练矩阵骨架选择

BriefGPT - AI 论文速递 · 2024-09-25T00:00:00Z

研究比较了Low-Rank Adaptation (LoRA)和全精调在编程和数学领域的表现。结果显示，LoRA通常不如全精调，但它能更好地保持基础模型在其他任务中的表现，并生成更多样化的结果。全精调的学习扰动比LoRA高10-100倍，这可能导致性能差距。文章还提供了LoRA精调的最佳实践建议。