本研究提出了VectorFit方法，解决了现有PEFT方法在低秩假设下的性能差距。VectorFit能够自适应地训练预训练模型的奇异向量和偏置，实验表明其在参数效率上优于传统PEFT方法，训练参数减少至九分之一，并在多种语言和视觉任务中表现出色。

本研究解决了如何优化多语言编码器模型mDeBERTa在德、瑞典和冰岛三种日耳曼语言任务中的应用问题。通过比较参数高效微调（PEFT）与完全微调的方法，我们发现PEFT在德语中更有效，而瑞典语和冰岛语的结果则较不稳定。此外，任务之间的差异也影响了模型的表现，PEFT在问答任务中表现较好，而完全微调更适合命名实体识别。

本研究探讨小型语言模型在中等资源语言（以冰岛语为例）的适应性问题，提出利用无结构文本语料库的方法。通过在前馈层和瓶颈适配器中应用LoRA，增加可训练参数显著提升了语言适应性能，尤其在0-shot摘要任务中表现突出。

本文提出了一种新颖的基于高斯图模型的参数高效微调方法，首次应用于PEFT任务。该方法通过$ ext{l}_{2,g}$范数选择关键参数，捕获全局依赖关系，实验结果表明在微调RoBERTa-Base时表现优异，显著减少了可训练参数的数量。

本研究提出结构稀疏微调(S$^{2}$FT)方法，解决了现有PEFT在LLM微调中高质量、效率和可扩展性之间的矛盾。S$^{2}$FT在多领域泛化能力上优于传统方法，训练内存节省3倍，延迟改善1.5-2.7倍。

本研究针对联邦参数高效微调（FedPEFT）中的安全隐患进行探讨，揭示了PEFT方法可被利用为攻击向量，绕过语言模型的安全机制并生成有害内容。我们提出的PEFT-as-an-Attack（PaaA）威胁显示，在训练可调参数不足1%的情况下，就能实现约80%的攻击成功率。这表明需要研发更有效的防御机制，以保障联邦微调的安全性与模型性能。

研究发现，参数高效微调（PEFT）策略在权重污染后门攻击下更易受攻击。即使微调后，预定义触发器仍可被利用。为此，研究者开发了基于PEFT的有毒样本识别模块（PSIM），通过置信度识别有毒样本，有效防御攻击。实验显示，PEFT攻击成功率接近100%，但PSIM能有效缓解攻击。

大规模预训练视觉模型在下游任务中表现出色，但完全微调因计算和存储需求过高而不可持续。研究人员探索参数高效微调（PEFT），通过少量参数调整提升性能。文章综述了PEFT的定义、预训练方法，并将其分为添加、部分和统一三类，介绍常用数据集和应用，提出未来研究挑战。

本研究通过PEFT方法和QLORA技术，成功实现了对LLMs个性特征的操控，模型能够自发生成表情符号，展现了方法的优越性。

个性化大型语言模型（LLMs）通过个性化碎片（Per-Pcs）框架实现用户定制交互、内容和推荐。Per-Pcs将用户的参数高效微调（PEFT）拆分为碎片，并训练门控模型，实现用户根据历史数据选择和组装个性化的PEFT。实验结果表明，Per-Pcs优于非个性化和PEFT检索基线，在性能和资源消耗方面都有显著提升。Per-Pcs具有可扩展性和模块化特点，促进了安全共享和高效的LLM个性化。

Light-PEFT framework enables efficient fine-tuning by pruning redundant parameters in the foundation model and PEFT modules, resulting in improved training and inference speed, reduced memory...

本研究揭示了未经审查的 Prompt tuning 选择对持续学习系统的整体性能产生负面影响，使用 LoRA 替代 Prompt tuning 的变体在领域增量和类别增量基准上实现了更高的准确性，同时具有相似的推理速度。

提出了一种用于多模态、多任务迁移学习的新型参数高效调参方法（PEFT）框架，通过LoRA、BitFit和IA3等技术，在几乎不需要可训练参数和GPU内存的情况下，展示了与预训练模型完全微调相当的性能。Context-PEFT解决了多模态微调中的架构修改问题，根据令牌的领域学习不同的适配器参数组，实现了类似LoRA的权重注入。在COCO字幕任务上评估，优于完全微调，并提供了更高的参数效率和计算经济性的解决方案。

本文研究了少样本学习在金融意图检测中的应用，通过评估大型语言模型的性能和成本效益，填补了该领域的研究空白。同时提出了基于检索增强生成和数据增强的方法来降低运营成本和改善性能，并提供了一个人工专家策划的子集和错误分析。

提出了一种用于多模态、多任务迁移学习的新型参数高效调参方法（PEFT）框架，通过LoRA、BitFit和IA3等技术，在几乎不需要可训练参数和GPU内存的情况下，展示了与预训练模型完全微调相当的性能。Context-PEFT解决了多模态微调中的架构修改问题，根据令牌的领域学习不同的适配器参数组，实现类似LoRA的权重注入。在COCO字幕任务上评估，优于完全微调，并提供了更高的参数效率和计算经济性的解决方案。

提出了一种新型参数高效调参方法（PEFT）框架，通过LoRA、BitFit和IA3等技术，在几乎不需要可训练参数和GPU内存的情况下，展示了与预训练模型完全微调相当的性能。Context-PEFT解决了多模态微调中的架构修改问题，根据令牌的领域学习不同的适配器参数组。该方法在COCO字幕任务上评估，优于完全微调，并提供了更高的参数效率和计算经济性的解决方案。

研究发现将PEFT方法插入到自监督学习模型的所有层中的集成学习方法表现更佳，通过协同融合不同的PEFT方法能够更有效地利用它们的独特学习能力。