从 LoRA 权重中恢复数据集大小
内容提要
本文提出了多种高效的微调方法，如Spectral DeTuning和LoRA-XS，旨在优化大型语言模型的训练性能和参数效率。研究表明，LoRA在某些任务中优于全精调，同时保持模型的正则化效果。此外，文章探讨了处理敏感数据时的隐私攻击风险，并通过实验验证了新方法在常识推理和数学推理任务中的优越性。
延伸解读
LoRA 的隐私风险：成员推断攻击
文章指出，使用 LoRA 微调模型时存在隐私攻击风险。研究者提出了针对预训练和微调模型的成员推断攻击方法，并展示了近乎完美的攻击效果。这意味着，如果微调数据包含敏感信息，攻击者可能判断出某条数据是否被用于训练。因此，在微调与部署涉及高度敏感数据的大模型前，必须谨慎评估隐私泄露风险。
LoRA 与全精调：性能与正则化的权衡
在编程和数学任务上的对比实验显示，LoRA 的表现通常明显逊于全精调。然而，LoRA 展现出一种理想的正则化效果：它能更好地保持基础模型在目标领域之外的任务表现，并提供比权重衰减和 dropout 更强的正则化，有助于生成更多样化的结果。此外，全精调学到的扰动秩比典型 LoRA 配置高 10-100 倍，这可能解释了两者之间的性能差距。
参数高效微调的新进展：从 LoRA-XS 到 LISA
文章介绍了多种改进方法。LoRA-XS 利用奇异值分解（SVD）提升参数效率，在较大模型上比 LoRA 和 VeRA 更高效且保持竞争性能。LISA（Layerwise Importance Sampled AdamW）则基于层间权重归一化的偏度观察，在减少内存消耗的同时超越 LoRA 及全参数训练。这些方法表明，参数高效微调仍在快速发展，不同方法在效率与性能上各有侧重。
Q&A
什么是Spectral DeTuning方法？
Spectral DeTuning是一种通过恢复预微调模型的权重来攻击大规模模型的方法。
LoRA在微调中的优势是什么？
LoRA在许多情况下与基准模型的性能相当，且具有良好的正则化效果。
LoRA-XS与LoRA的区别是什么？
LoRA-XS利用奇异值分解（SVD）实现更高的参数效率，特别是在较大模型上表现更佳。
在处理敏感数据时，LoRA存在哪些隐私风险？
LoRA在处理敏感数据时存在成员推断攻击的隐私风险，可能导致数据泄露。
Layerwise Importance Sampled AdamW（LISA）是什么？
LISA是一种训练策略，旨在减少内存消耗并在微调任务中超越LoRA及全参数训练。
MiLoRA方法的主要特点是什么？
MiLoRA仅更新权重矩阵的次要奇异部分，以最大限度地利用较少优化的子空间进行微调。
