本文综述低秩适应（LoRA）微调技术进展。LoRA通过向Transformer层注入可训练低秩矩阵，减少下游任务参数，性能媲美全量微调且无额外推理延迟。后续研究提出FLoRA、SoRA、LoRA-FA、RunLoRA、LoTR等改进，分别实现多任务批处理、动态秩调整、低内存更新、训练加速与张量分解压缩，提升参数效率与训练速度。

本文介绍了一种通过FLORA框架实现的低秩逼近方法，可以通过低秩感知的候选过滤策略和低秩特定训练方法来降低计算负载。相比简单均匀配置，该方法可以额外减少33%的操作次数，并且可以与压缩技术和紧凑混合结构整合以达到更高的FLOPs减少率。