基于低秩适应的时间序列基础模型在领域外模态预测中的应用

在编程和数学领域比较了低秩适应（LoRA）与全精调的性能，发现LoRA在大多数情况下表现不如全精调。

LoRA展现了理想的正则化效果，能够更好地保持基础模型在目标领域之外的任务表现。

全精调学习到的扰动比典型LoRA配置的秩高10-100倍，可能解释了性能差距。

提出了LoRA的最佳实践建议，强调其在低数据情况下的优异表现，适合大规模语言模型的微调。

引入Fast LoRA（FLoRA）框架，有效处理多样化用户请求，实现个性化任务适应。

LoRA方法能够将预训练模型适应到较小目标模型，适用于全连接神经网络和Transformer网络。

LoRA使用较少参数和内存的训练方法，表现超过基准模型和GPT-4。

提出了SuperLoRA框架，统一并扩展不同的LoRA变体，具有更高的灵活性和卓越的性能。

通过引入稀疏低秩适应性（SoRA），动态调整内在秩，提高LoRA表现能力。

改进的LoRA优化方法PeriodicLoRA（PLoRA）通过积累低秩更新矩阵提高学习能力，且不增加内存使用。

LoRA在复杂的多语言摘要任务中表现出色，尤其在低数据情况下和跨语言转移中。