通过子空间反卷积实现大型语言模型的参数高效微调

本研究解决了大型语言模型微调中存在的参数高效性不足的问题，尤其是在低秩适应方法的限制下。通过提出一种新的子空间反卷积微调方法（DCFT），研究者们展示了如何通过调整内核大小来动态控制参数，突破了秩一分解的局限性，并在大量实验中验证了该方法比传统LoRA更具参数效率，降低了8倍参数同时保持良好的性能。