微调是深度学习中的迁移学习方法,利用预训练模型适应新任务。根据任务差异,微调可分为全参数和部分参数微调;在资源有限时,部分参数微调能提高性能。微调还可分为监督与无监督微调,以及指令与对齐微调。参数高效微调方法如Adapter Tuning和LoRA,通过减少更新参数量降低计算成本。
本研究提出了一种新的参数高效微调架构ABBA,旨在解决大语言模型在新领域适应的挑战。该方法通过低秩矩阵的哈达玛积更新,增强了模型的表达能力,并在算术和常识推理测试中超越了现有方法。
本研究提出了一种多阶段的参数高效微调方法,旨在将波斯语融入Llama模型,提高其在波斯语分类任务中的准确性,同时对英语任务无负面影响,甚至有所改善。
本文提出了一种新颖的基于高斯图模型的参数高效微调方法,首次应用于PEFT任务。该方法通过$ ext{l}_{2,g}$范数选择关键参数,捕获全局依赖关系,实验结果表明在微调RoBERTa-Base时表现优异,显著减少了可训练参数的数量。
本研究提出ALoRE框架,解决大型视觉模型在下游任务中的参数高效传递学习问题。该方法通过重用超复数参数化空间,提高了性能和参数效率,实验结果显示在图像分类任务中优于全微调策略及其他先进方法。
本研究提出了一种新的参数高效微调方法KaSA,旨在解决大语言模型在特定任务中的计算和内存使用问题。该方法通过知识感知的特征值分解,显著提升模型在自然语言理解和生成任务中的表现。
我们提出了一种单模型推测流方法,通过将草稿融入目标模型,并将微调目标改为未来n-gram预测,加速大模型推理。此方法在摘要和结构化查询任务中加速1.8-3.1倍,无质量损失,参数高效,比Medusa架构快且参数少10000倍,适合资源有限的设备。
本研究提出了一种新的参数高效微调方法,解决了Mamba模型在下游任务中的适应性问题,优化后的PEFT方法显著提升了模型性能。
本研究提出了一种新颖的参数高效微调方法,解决了预训练视觉变换器在下游任务中的适应性不足问题。该方法通过奇异值分解和Householder变换构造正交矩阵,显著提升了微调效果,实验结果表明其在视觉任务中表现优异。
本文提出了一种新的参数高效的跨语言转移学习框架,通过基于翻译的对齐方法来减少多语言差异,并采用微调方法来提高效率。实验证明,该框架在跨语言转移方面取得了显著改进,尤其在低资源场景下,只需保留和微调极少量的参数。
本文研究了在预训练语言模型中插入可学习的嵌入或软提示,实现参数高效的Soft Prompt Tuning (SPT)方法。通过冻结模型参数并只训练软提示,可以减少计算成本和存储开销,并提升跨语言传递性能。同时,还探索了软提示相关因素对跨语言传递性能的影响。
DialCLIP是一种参数高效的多模态对话检索方法,通过微调总参数的0.04%,在两个基准数据集上实现了最新性能,展示了其效果和效率,具有推动该领域发展的潜力。
该研究提出了一种基于提示的时间域泛化方法,适用于分类、回归和时间序列预测等任务,具有参数和时间高效的特点,并在时间域泛化方面取得了新的最先进基准水平。代码将公开共享。
本文提出了一种新的参数高效的跨语言转移学习框架,利用基于翻译的对齐方法来缓解多语言差异,并探索参数高效的微调方法。经过实验表明,该框架显著减少了语言之间的差异,并在跨语言转移方面取得了改进,尤其在低资源场景中,同时只保留和微调极少量的参数。
本文提出了一种新的参数高效的跨语言转移学习框架,利用基于翻译的对齐方法来缓解多语言差异,并探索参数高效的微调方法。实验表明,该框架显著减少了语言之间的差异,在跨语言转移方面取得了改进,尤其在低资源场景中,同时只保留和微调极少量的参数。
本文提出了一种新的参数高效的跨语言转移学习框架,通过基于翻译的对齐方法缓解多语言差异,并探索参数高效的微调方法。实验证明,该框架显著减少了语言之间的差异,在跨语言转移方面取得了改进。尤其在低资源场景中,只需保留和微调极少量的参数,相比全模型仅需0.16%的额外参数。
完成下面两步后,将自动完成登录并继续当前操作。