EDoRA方法通过奇异值分解将预训练权重分解为大小和方向分量，冷冻低秩矩阵，并引入小的可训练矩阵，显著减少可训练参数，最多可减少30倍，同时保持学习能力。实验表明，EDoRA在GLUE基准测试中表现优异，适用于资源受限环境的多任务适应。

本研究提出了一种转换器调优技术，通过引入代码属性图的结构和依赖信息，解决了资源受限环境中大型语言模型的内存需求问题。该方法在减少可训练参数的同时，保持了与全参数微调相当的性能，展现出显著的应用潜力。

本研究提出了一种在小波域进行多尺度生成建模的方法，有效解决了传统空间域生成模型中的分数病态问题，显著提升了性能，并减少了可训练参数和时间。

本文提出全能视觉多任务适配器（VMT-Adapter）用于计算机视觉任务，通过共享任务知识增强跨任务交互，保留任务特定知识。同时提出VMT-Adapter-Lite以减少可训练参数。实验证明VMT-Adapter(-Lite)相对改进3.96%（1.34%），仅利用预训练模型约1%（0.36%）的可训练参数。

该研究探讨了Transformer在抽象符号关系推理任务中的表现。研究发现，Transformer需要大量训练数据才能泛化，且随着嵌入维度的增加，泛化能力下降。研究提出了微调Transformer的方法，通过添加可训练参数来减少所需数据量。

研究发现，权重对称性对于3D网格分割神经网络的准确性和可训练参数数量有显著影响，可以获得额外1%至3%的准确性，减少高达8倍的可训练参数数量，即使在小训练集中也适用。