恢复生成模型的预 Fine-Tuning 权重
内容提要
该文综述大语言模型微调研究，涵盖三方面：秘密微调公开权重可降低有害指令拒绝率，主张将微调风险纳入模型发布评估；提出SIFT稀疏微调、LoRA超参黑盒优化、概念微调、稀疏预训练加密集微调等方法，以降低训练成本并提升下游性能；探讨微调对模型授权与版权保护的影响及追溯方法。
延伸解读
微调风险应纳入模型发布评估
文章指出，通过秘密微调公开权重，可以成功降低模型对有害指令的拒绝率，证明背离微调切实可行。这意味着发布模型权重时，仅评估基础模型的安全性可能不够，微调风险应作为核心评估部分。这提醒模型发布方需考虑下游微调可能带来的安全挑战。
稀疏微调与训练成本优化
文章介绍了SIFT稀疏微调、稀疏预训练加密集微调等方法，旨在降低训练成本并保持下游性能。例如，稀疏预训练加密集微调可将训练FLOPs降至原来的2.5倍，同时保持与密集基线相同的准确性。这些方法为大规模模型训练提供了可行方向。
微调对模型授权与版权的影响
文章探讨了生成式大语言模型微调对模型授权和版权保护的影响，并提出基于不同知识水平和归属策略的模型追溯方法。这表明微调可能模糊模型版权归属，需要开发追溯技术来保护知识产权，对模型发布者和使用者都有重要含义。
Q&A
秘密微调公开权重会带来什么安全风险？
秘密微调公开权重可以降低模型对有害指令的拒绝率，证明背离安全微调是可行且有效的。因此，发布模型权重时，风险评估应将微调风险作为核心部分。
SIFT稀疏微调算法是什么？
SIFT（Sparse Increment Fine-Tuning）是一种基于梯度的稀疏微调算法，通过研究下游领域损失函数从随机初始化到预训练初始化的变换，揭示参数梯度稀疏性特性，并在多个任务上验证了其有效性。
如何降低大规模GPT模型的训练成本？
可以采用稀疏预训练加密集微调的方法，将训练FLOPs降低到原来的2.5倍，同时保持与密集基线相同的下游任务准确性，为训练大规模GPT模型提供可行方向。
概念微调（Concept-Tuning）有什么作用？
概念微调可以改善预训练模型的特征表示，减少罕见特征和虚假关联特征的负面影响，从而提高细调方法在各种数据集上的表现。
微调对模型授权和版权保护有什么影响？
微调会影响模型授权和版权保护，论文提出了一种基于不同知识水平和归属策略的模型追溯方法，用于应对这些影响。
如何用黑盒优化技术调优LoRA超参数？
研究采用黑盒优化技术通过LoRA方法调优大型语言模型的超参数选择，以提高性能和人工对齐。
