本文提出了一种名为SNELL的方法，旨在解决稀疏调优中的内存使用问题。该方法通过将可调矩阵分解为两个低秩矩阵，并引入竞争式稀疏化机制，降低内存占用，同时在多个任务中保持高性能。

本研究提出了一种新方法：重要性感知稀疏调优（IST），旨在克服现有参数高效微调方法的局限性。IST通过动态选择和更新重要层，显著提升微调性能并降低内存需求。实验结果表明其在大语言模型和下游任务中的有效性。

本文介绍了一种名为视觉提示调优（VPT）的高效方法，用于调整大规模Transformer模型。VPT通过引入少量可训练参数，提升了模型在下游任务中的表现，并降低了存储成本。研究探讨了多种参数高效微调（PEFT）方法，强调了其在视觉变换器适应中的成功应用，并提出了动态调整（DyT）和稀疏调优等新方法，以提高推理效率和模型性能。