基于互信息上界的LoRA缩放法则

本文探讨了LoRA微调中性能、参数与数据复杂性之间的关系，提出了一种基于互信息上界的内部度量，能够更准确地捕捉新旧知识的依赖关系。实验结果表明，该方法在评估LoRA微调的缩放法则上优于传统方法。