本研究提出了VectorFit方法，解决了现有PEFT方法在低秩假设下的性能差距。VectorFit能够自适应地训练预训练模型的奇异向量和偏置，实验表明其在参数效率上优于传统PEFT方法，训练参数减少至九分之一，并在多种语言和视觉任务中表现出色。

本研究解决了如何优化多语言编码器模型mDeBERTa在德、瑞典和冰岛三种日耳曼语言任务中的应用问题。通过比较参数高效微调（PEFT）与完全微调的方法，我们发现PEFT在德语中更有效，而瑞典语和冰岛语的结果则较不稳定。此外，任务之间的差异也影响了模型的表现，PEFT在问答任务中表现较好，而完全微调更适合命名实体识别。

本研究探讨了小型语言模型在中等资源语言中的适应性，特别是如何有效利用语言特定知识。通过冰岛语的案例研究，提出在前馈层和瓶颈适配器中使用LoRA以增加可训练参数，从而显著提升语言适应性能，尤其在0-shot摘要任务中表现优异。

本文提出了一种基于高斯图模型的参数高效微调（PEFT）方法，首次将高斯图模型应用于PEFT任务。该方法通过$ ext{l}_{2,g}$范数选择关键参数，捕获全局依赖关系。在微调RoBERTa-Base时，实验结果显示该方法表现优异，显著减少了所需的可训练参数。

本研究提出结构稀疏微调(S$^{2}$FT)方法，解决了现有PEFT在LLM微调中高质量、效率和可扩展性之间的矛盾。S$^{2}$FT在多领域泛化能力上优于传统方法，训练内存节省3倍，延迟改善1.5-2.7倍。

本研究针对联邦参数高效微调（FedPEFT）中的安全隐患进行探讨，揭示了PEFT方法可被利用为攻击向量，绕过语言模型的安全机制并生成有害内容。我们提出的PEFT-as-an-Attack（PaaA）威胁显示，在训练可调参数不足1%的情况下，就能实现约80%的攻击成功率。这表明需要研发更有效的防御机制，以保障联邦微调的安全性与模型性能。

本文介绍了大型语言模型的参数高效微调（PEFT）方法，强调在选择微调技术时需考虑任务类型和数据可用性。提出了PEQA和IncreLoRA等新方法，以解决数据不足和计算资源消耗问题，提升微调效率。研究表明，ID³方法通过动态评估参数重要性，显著提高了计算效率和模型性能。

本文介绍了个性化参数高效微调（PEFT）方法，结合用户模型与隐私保护，实现个性化推荐。研究表明，PEFT在多任务适应性和计算效率上表现优异，特别是Houlsby+Inversion适配器效果最佳。Per-Pcs框架通过安全共享个性化PEFT，提升了用户建模的细粒度和资源利用效率，实验结果显示其性能优于传统方法，且资源消耗显著降低。

Light-PEFT framework enables efficient fine-tuning by pruning redundant parameters in the foundation model and PEFT modules, resulting in improved training and inference speed, reduced memory...

本研究揭示了未经审查的 Prompt tuning 选择对持续学习系统的整体性能产生负面影响，使用 LoRA 替代 Prompt tuning 的变体在领域增量和类别增量基准上实现了更高的准确性，同时具有相似的推理速度。

本文提出了一种参数高效微调（PEFT）框架，通过多任务迁移学习和适配器技术，显著提升了模型在新情境下的分割性能。研究表明，该方法在仅使用约1K额外参数的情况下，能够有效利用多任务知识，优化模型性能，尤其在医学图像分析和多模态任务中表现优异。

本文研究了大规模语言模型在自动化代码生成和少样本学习中的应用，提出了参数高效微调技术（PEFT），并验证了其在性能和计算成本上的优势。研究发现，监督指令微调在资源需求和性能上表现最佳，同时强调了提升低资源语言理解能力的重要性，并探讨了自然语言解释对模型鲁棒性的影响。

本文提出了一种新型的参数高效调参方法（PEFT），通过 Context-PEFT 技术实现多模态微调，提升参数效率和计算经济性。研究表明，该方法在 COCO 字幕任务中优于完全微调，并在医学图像分析和文本生成任务中展现出竞争力的性能。

提出了一种新型参数高效调参方法（PEFT）框架，通过LoRA、BitFit和IA3等技术，在几乎不需要可训练参数和GPU内存的情况下，展示了与预训练模型完全微调相当的性能。Context-PEFT解决了多模态微调中的架构修改问题，根据令牌的领域学习不同的适配器参数组。该方法在COCO字幕任务上评估，优于完全微调，并提供了更高的参数效率和计算经济性的解决方案。

研究发现将PEFT方法插入到自监督学习模型的所有层中的集成学习方法表现更佳，通过协同融合不同的PEFT方法能够更有效地利用它们的独特学习能力。

提出了一种用于多模态、多任务迁移学习的新型参数高效调参方法（PEFT）框架，通过LoRA、BitFit和IA3等技术，在几乎不需要可训练参数和GPU内存的情况下，展示了与预训练模型完全微调相当的性能。Context-PEFT根据令牌的领域学习不同的适配器参数组，实现了类似LoRA的权重注入，而不需要额外的架构修改。在COCO字幕任务上评估，优于完全微调，并提供了更高的参数效率和计算经济性的解决方案。

该研究论文强调了大语言模型（LLMs）对参数高效微调（PEFT）的迫切需求，并提出了创新的PEFT架构、不同学习设置的PEFT、结合模型压缩技术的PEFT以及多模态LLMs的PEFT探索。该论文旨在激发进一步研究，并促进围绕LLMs的更高效和可访问的PEFT的讨论。