小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
大语言模型微调

微调是深度学习中的迁移学习方法,利用预训练模型适应新任务。根据任务差异,微调可分为全参数和部分参数微调;在资源有限时,部分参数微调能提高性能。微调还可分为监督与无监督微调,以及指令与对齐微调。参数高效微调方法如Adapter Tuning和LoRA,通过减少更新参数量降低计算成本。

大语言模型微调

范叶亮的博客
范叶亮的博客 · 2025-08-09T00:00:00Z

本研究提出了一种新的参数高效微调架构ABBA,旨在解决大语言模型在新领域适应的挑战。该方法通过低秩矩阵的哈达玛积更新,增强了模型的表达能力,并在算术和常识推理测试中超越了现有方法。

ABBA: A High-Expressiveness Hadamard Product Adaptation for Large Language Models

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-20T00:00:00Z

本研究提出了一种多阶段的参数高效微调方法,旨在将波斯语融入Llama模型,提高其在波斯语分类任务中的准确性,同时对英语任务无负面影响,甚至有所改善。

扩展大型语言模型至新语言:以Llama和波斯语适应为案例

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-17T00:00:00Z

本文提出了一种新颖的基于高斯图模型的参数高效微调方法,首次应用于PEFT任务。该方法通过$ ext{l}_{2,g}$范数选择关键参数,捕获全局依赖关系,实验结果表明在微调RoBERTa-Base时表现优异,显著减少了可训练参数的数量。

自适应主成分分配与$\ell_{2,g}$正则化高斯图模型:高效微调大型模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-11T00:00:00Z

本研究提出ALoRE框架,解决大型视觉模型在下游任务中的参数高效传递学习问题。该方法通过重用超复数参数化空间,提高了性能和参数效率,实验结果显示在图像分类任务中优于全微调策略及其他先进方法。

ALoRE:通过聚合低秩专家实现高效视觉适应

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-11T00:00:00Z

本研究提出了一种新的参数高效微调方法KaSA,旨在解决大语言模型在特定任务中的计算和内存使用问题。该方法通过知识感知的特征值分解,显著提升模型在自然语言理解和生成任务中的表现。

知识感知的特征值适应大语言模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-08T00:00:00Z
推测流:无需辅助模型的快速大模型推理

我们提出了一种单模型推测流方法,通过将草稿融入目标模型,并将微调目标改为未来n-gram预测,加速大模型推理。此方法在摘要和结构化查询任务中加速1.8-3.1倍,无质量损失,参数高效,比Medusa架构快且参数少10000倍,适合资源有限的设备。

推测流:无需辅助模型的快速大模型推理

Apple Machine Learning Research
Apple Machine Learning Research · 2024-11-19T00:00:00Z

本研究提出了一种新的参数高效微调方法,解决了Mamba模型在下游任务中的适应性问题,优化后的PEFT方法显著提升了模型性能。

探索Mamba的参数高效微调:MambaPEFT

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-06T00:00:00Z

本研究提出了一种新颖的参数高效微调方法,解决了预训练视觉变换器在下游任务中的适应性不足问题。该方法通过奇异值分解和Householder变换构造正交矩阵,显著提升了微调效果,实验结果表明其在视觉任务中表现优异。

Efficient Adaptation of Pre-trained Vision Transformers via Householder Transformation

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-30T00:00:00Z

本文提出了一种新的参数高效的跨语言转移学习框架,通过基于翻译的对齐方法来减少多语言差异,并采用微调方法来提高效率。实验证明,该框架在跨语言转移方面取得了显著改进,尤其在低资源场景下,只需保留和微调极少量的参数。

面向视觉 - 语言模型的跨模态向后兼容表示学习

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-05-23T00:00:00Z

本文研究了在预训练语言模型中插入可学习的嵌入或软提示,实现参数高效的Soft Prompt Tuning (SPT)方法。通过冻结模型参数并只训练软提示,可以减少计算成本和存储开销,并提升跨语言传递性能。同时,还探索了软提示相关因素对跨语言传递性能的影响。

多空间投影和提示融合的高效提示调整

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-05-19T00:00:00Z

DialCLIP是一种参数高效的多模态对话检索方法,通过微调总参数的0.04%,在两个基准数据集上实现了最新性能,展示了其效果和效率,具有推动该领域发展的潜力。

DialCLIP: 增强 CLIP 作为多模态对话检索器

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-01-02T00:00:00Z

该研究提出了一种基于提示的时间域泛化方法,适用于分类、回归和时间序列预测等任务,具有参数和时间高效的特点,并在时间域泛化方面取得了新的最先进基准水平。代码将公开共享。

对齐您的提示:基于分布对齐的零样本泛化的测试时提示

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-11-02T00:00:00Z

本文提出了一种新的参数高效的跨语言转移学习框架,利用基于翻译的对齐方法来缓解多语言差异,并探索参数高效的微调方法。经过实验表明,该框架显著减少了语言之间的差异,并在跨语言转移方面取得了改进,尤其在低资源场景中,同时只保留和微调极少量的参数。

CAPIVARA:在资源有限的语言中提高多语言 CLIP 性能的成本效益方法

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-20T00:00:00Z

本文提出了一种新的参数高效的跨语言转移学习框架,利用基于翻译的对齐方法来缓解多语言差异,并探索参数高效的微调方法。实验表明,该框架显著减少了语言之间的差异,在跨语言转移方面取得了改进,尤其在低资源场景中,同时只保留和微调极少量的参数。

在跨语言迁移范式中衡量灾难性遗忘:探索调整策略

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-09-12T00:00:00Z

本文提出了一种新的参数高效的跨语言转移学习框架,通过基于翻译的对齐方法缓解多语言差异,并探索参数高效的微调方法。实验证明,该框架显著减少了语言之间的差异,在跨语言转移方面取得了改进。尤其在低资源场景中,只需保留和微调极少量的参数,相比全模型仅需0.16%的额外参数。

CLIPTrans:基于预训练模型的多模态机器翻译中的视觉知识迁移

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-08-29T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码