微调是深度学习中的迁移学习方法,利用预训练模型适应新任务。根据任务差异,微调可分为全参数和部分参数微调;在资源有限时,部分参数微调能提高性能。微调还可分为监督与无监督微调,以及指令与对齐微调。参数高效微调方法如Adapter Tuning和LoRA,通过减少更新参数量降低计算成本。
本研究提出了一种新的参数高效微调架构ABBA,旨在解决大语言模型在新领域适应的挑战。该方法通过低秩矩阵的哈达玛积更新,增强了模型的表达能力,并在算术和常识推理测试中超越了现有方法。
本研究提出了一种多阶段的参数高效微调方法,旨在将波斯语融入Llama模型,提高其在波斯语分类任务中的准确性,同时对英语任务无负面影响,甚至有所改善。
本研究提出了一种新的参数高效微调方法KaSA,旨在解决大语言模型在特定任务中的计算和内存使用问题。该方法通过知识感知的特征值分解,显著提升模型在自然语言理解和生成任务中的表现。
我们提出了一种单模型推测流方法,通过将草稿融入目标模型,并将微调目标改为未来n-gram预测,加速大模型推理。此方法在摘要和结构化查询任务中加速1.8-3.1倍,无质量损失,参数高效,比Medusa架构快且参数少10000倍,适合资源有限的设备。
本研究提出了一种新的参数高效微调方法,解决了Mamba模型在下游任务中的适应性问题,优化后的PEFT方法显著提升了模型性能。
本研究提出了一种新颖的参数高效微调方法,解决了预训练视觉变换器在下游任务中的适应性不足问题。该方法通过奇异值分解和Householder变换构造正交矩阵,显著提升了微调效果,实验结果表明其在视觉任务中表现优异。
本研究探讨了微调对大型语言模型的影响,特别是在指令识别、知识存储对齐和单词关系学习方面。提出的自然语言反馈微调方法显著提高了问答任务的准确性。研究还指出低秩逼近微调可能保留偏差和有毒行为,而局部微调方法提高了攻击成功率,适配器微调则改善了机器翻译性能。参数高效微调方法展示了更好的效率与性能平衡。
DialCLIP是一种参数高效的多模态对话检索方法,通过微调总参数的0.04%,在两个基准数据集上实现了最新性能,展示了其效果和效率,具有推动该领域发展的潜力。
该研究提出了一种基于提示的时间域泛化方法,适用于分类、回归和时间序列预测等任务,具有参数和时间高效的特点,并在时间域泛化方面取得了新的最先进基准水平。代码将公开共享。
本文提出了一种新的参数高效的跨语言转移学习框架,利用基于翻译的对齐方法来缓解多语言差异,并探索参数高效的微调方法。经过实验表明,该框架显著减少了语言之间的差异,并在跨语言转移方面取得了改进,尤其在低资源场景中,同时只保留和微调极少量的参数。
本文提出了一种新的参数高效的跨语言转移学习框架,利用基于翻译的对齐方法来缓解多语言差异,并探索参数高效的微调方法。实验表明,该框架显著减少了语言之间的差异,在跨语言转移方面取得了改进,尤其在低资源场景中,同时只保留和微调极少量的参数。
本文提出了一种新的参数高效的跨语言转移学习框架,通过基于翻译的对齐方法缓解多语言差异,并探索参数高效的微调方法。实验证明,该框架显著减少了语言之间的差异,在跨语言转移方面取得了改进。尤其在低资源场景中,只需保留和微调极少量的参数,相比全模型仅需0.16%的额外参数。
完成下面两步后,将自动完成登录并继续当前操作。