隐私保护的低秩适应性潜态扩散模型
内容提要
LoRA通过低秩分解减少微调参数，性能媲美全量微调且无推理延迟。后续研究拓展了其应用：PrivateLoRA用于边缘隐私计算与通信优化，DP-LoRA用于联邦学习，SoRA动态调整内在秩，FLoRA支持多任务批处理，LCM-LoRA加速图像生成，LoRA+提升训练速度。
延伸解读
LoRA 的隐私保护与边缘计算应用
PrivateLoRA 利用残余激活的低秩性质，在边缘设备上分布隐私敏感计算，实现了超过 95% 的通信减少，并在 5G 网络下显著提升吞吐量。DP-LoRA 则针对联邦学习场景，在确保数据隐私的同时优化通信效率。这些方案表明，LoRA 不仅能降低微调成本，还能为隐私敏感场景提供可行的技术路径。
动态秩调整与训练效率优化
SoRA 通过稀疏低秩适应动态调整内在秩，在保留 70% 参数和训练时间的情况下超越基准模型。LoRA+ 通过为适配器矩阵 A 和 B 设置不同学习率，解决了 LoRA 的次优问题，将性能提升 1-2%，微调速度最高提升约 2 倍。这些改进让 LoRA 在效率和效果之间取得更好平衡。
多任务与生成加速的扩展
FLoRA 通过将每个输入示例与独特的低秩适应权重关联，支持多任务批处理，在代码生成和多语种语音识别任务中保持竞争性结果。LCM-LoRA 则将 LoRA 蒸馏应用于稳定扩散模型，作为加速模块可直接插入各种微调模型，减少内存消耗并提高图像生成质量。这些扩展展示了 LoRA 在多样任务中的适应性。
Q&A
LoRA是什么？它有什么主要优势？
LoRA是一种低秩适应方法，通过将可训练秩分解矩阵注入Transformer结构的每一层，大幅减少下游任务的可训练参数。其优势包括：性能与全量微调相当或更好，训练吞吐量更高，且不增加推理延迟，解决了大模型微调参数和GPU内存占用过高的问题。
PrivateLoRA如何实现隐私保护和高效通信？
PrivateLoRA通过在边缘设备上分布隐私敏感计算、云端共享计算的方式实现数据本地性。其核心创新是利用残余激活的低秩性质，实现超过95%的通信减少。在5G网络下，7B模型吞吐量达设备独立方案的300%以上，33B模型达A100 GPU的80%以上，同时调优性能与LoRA相当。
DP-LoRA在联邦学习中有什么作用？
DP-LoRA是一种针对大型语言模型的联邦学习算法，旨在确保数据隐私并优化通信效率，以满足严格的隐私约束条件。
SoRA相比普通LoRA有什么改进？
SoRA通过引入稀疏低秩适应性的创新方法，使适应过程中能够动态调整内在秩，从而提高LoRA的表现能力，同时通过稀疏更新高效控制参数数量。实验表明，SoRA在保留70%参数和训练时间的情况下，能够胜过其他基准模型。
FLoRA解决了LoRA的什么问题？
FLoRA解决了LoRA在处理多个任务特定适配器时的性能瓶颈。它通过将每个输入示例与其独特的低秩适应权重关联起来，实现个性化的任务特定适应，从而能够有效地对多样化和全球用户群体的实时请求进行批处理。在MultiPL-E代码生成基准和6种语言的多语种语音识别任务上，FLoRA保持了与LoRA相当的竞争结果。
LCM-LoRA是什么？它有什么用途？
LCM-LoRA是通过将LoRA蒸馏应用于稳定扩散模型（如SD-V1.5、SSD-1B和SDXL）而得到的LoRA参数，作为稳定扩散加速模块。它可以直接插入各种经过微调的稳定扩散模型或LoRAs中，减少内存消耗，提高图像生成质量，成为多样的图像生成任务中可广泛应用的加速器。
LoRA+算法是如何提升训练速度和性能的？
LoRA+通过为LoRA适配器矩阵A和B设置不同的学习率（适当的比率），解决了LoRA的次优问题，同时提高了性能（1-2%改进）和微调速度（最高约2倍速度提升）。
