小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
大语言模型微调

微调是深度学习中的迁移学习方法,利用预训练模型适应新任务。根据任务差异,微调可分为全参数和部分参数微调;在资源有限时,部分参数微调能提高性能。微调还可分为监督与无监督微调,以及指令与对齐微调。参数高效微调方法如Adapter Tuning和LoRA,通过减少更新参数量降低计算成本。

大语言模型微调

范叶亮的博客
范叶亮的博客 · 2025-08-09T00:00:00Z

本研究提出了一种新的参数高效微调架构ABBA,旨在解决大语言模型在新领域适应的挑战。该方法通过低秩矩阵的哈达玛积更新,增强了模型的表达能力,并在算术和常识推理测试中超越了现有方法。

ABBA: A High-Expressiveness Hadamard Product Adaptation for Large Language Models

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-20T00:00:00Z

本研究提出了一种多阶段的参数高效微调方法,旨在将波斯语融入Llama模型,提高其在波斯语分类任务中的准确性,同时对英语任务无负面影响,甚至有所改善。

Extending Large Language Models to New Languages: A Case Study of Llama and Persian Adaptation

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-17T00:00:00Z

本研究提出了一种新的参数高效微调方法KaSA,旨在解决大语言模型在特定任务中的计算和内存使用问题。该方法通过知识感知的特征值分解,显著提升模型在自然语言理解和生成任务中的表现。

知识感知的特征值适应大语言模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-08T00:00:00Z
推测流:无需辅助模型的快速大模型推理

我们提出了一种单模型推测流方法,通过将草稿融入目标模型,并将微调目标改为未来n-gram预测,加速大模型推理。此方法在摘要和结构化查询任务中加速1.8-3.1倍,无质量损失,参数高效,比Medusa架构快且参数少10000倍,适合资源有限的设备。

推测流:无需辅助模型的快速大模型推理

Apple Machine Learning Research
Apple Machine Learning Research · 2024-11-19T00:00:00Z

本研究提出了一种新的参数高效微调方法,解决了Mamba模型在下游任务中的适应性问题,优化后的PEFT方法显著提升了模型性能。

Exploring Parameter-Efficient Fine-Tuning of Mamba: MambaPEFT

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-06T00:00:00Z

本研究提出了一种新颖的参数高效微调方法,解决了预训练视觉变换器在下游任务中的适应性不足问题。该方法通过奇异值分解和Householder变换构造正交矩阵,显著提升了微调效果,实验结果表明其在视觉任务中表现优异。

Efficient Adaptation of Pre-trained Vision Transformers via Householder Transformation

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-30T00:00:00Z

本研究探讨了微调对大型语言模型的影响,特别是在指令识别、知识存储对齐和单词关系学习方面。提出的自然语言反馈微调方法显著提高了问答任务的准确性。研究还指出低秩逼近微调可能保留偏差和有毒行为,而局部微调方法提高了攻击成功率,适配器微调则改善了机器翻译性能。参数高效微调方法展示了更好的效率与性能平衡。

LLM 表示的本地微调:LoFiT

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-03T00:00:00Z

DialCLIP是一种参数高效的多模态对话检索方法,通过微调总参数的0.04%,在两个基准数据集上实现了最新性能,展示了其效果和效率,具有推动该领域发展的潜力。

DialCLIP: 增强 CLIP 作为多模态对话检索器

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-01-02T00:00:00Z

该研究提出了一种基于提示的时间域泛化方法,适用于分类、回归和时间序列预测等任务,具有参数和时间高效的特点,并在时间域泛化方面取得了新的最先进基准水平。代码将公开共享。

对齐您的提示:基于分布对齐的零样本泛化的测试时提示

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-11-02T00:00:00Z

本文提出了一种新的参数高效的跨语言转移学习框架,利用基于翻译的对齐方法来缓解多语言差异,并探索参数高效的微调方法。经过实验表明,该框架显著减少了语言之间的差异,并在跨语言转移方面取得了改进,尤其在低资源场景中,同时只保留和微调极少量的参数。

CAPIVARA:在资源有限的语言中提高多语言 CLIP 性能的成本效益方法

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-20T00:00:00Z

本文提出了一种新的参数高效的跨语言转移学习框架,利用基于翻译的对齐方法来缓解多语言差异,并探索参数高效的微调方法。实验表明,该框架显著减少了语言之间的差异,在跨语言转移方面取得了改进,尤其在低资源场景中,同时只保留和微调极少量的参数。

在跨语言迁移范式中衡量灾难性遗忘:探索调整策略

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-09-12T00:00:00Z

本文提出了一种新的参数高效的跨语言转移学习框架,通过基于翻译的对齐方法缓解多语言差异,并探索参数高效的微调方法。实验证明,该框架显著减少了语言之间的差异,在跨语言转移方面取得了改进。尤其在低资源场景中,只需保留和微调极少量的参数,相比全模型仅需0.16%的额外参数。

CLIPTrans:基于预训练模型的多模态机器翻译中的视觉知识迁移

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-08-29T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码