小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本研究提出TT-LoRA MoE框架,结合参数高效微调与稀疏专家混合路由,解决大型模型部署的可扩展性问题,显著提升多任务推理的计算效率与灵活性。

TT-LoRA MoE: A Unified Framework for Parameter-Efficient Fine-Tuning and Sparse Mixture of Experts Models

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-29T00:00:00Z

本研究提出了一种新的参数高效微调技术,以解决联邦学习中基础模型适应特定任务所需的高计算资源问题,并分析其在数据异质性和通信效率等挑战中的应用,强调其在隐私敏感领域的重要性。

A Survey on Parameter-Efficient Fine-Tuning of Foundation Models in Federated Learning

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-29T00:00:00Z

本研究探讨了基础模型中的参数高效微调(PEFT)技术,综述其应用,提出系统方法,并讨论未来研究方向,为研究人员提供参考。

基础模型的参数高效微调

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-01-23T00:00:00Z
三种简单的语言模型微调方法

本文探讨了三种语言模型微调的方法:完全微调、参数高效微调(PEFT)和指令微调。完全微调更新所有参数以适应特定任务,但计算资源需求高。PEFT仅更新部分参数,解决了计算和遗忘问题。指令微调通过自然语言指令提高模型的通用性。这些方法增强了语言模型的实用性和适应性。

三种简单的语言模型微调方法

MachineLearningMastery.com
MachineLearningMastery.com · 2025-01-22T15:26:25Z
是否进行微调?

本文指导何时对大型语言模型(LLM)进行微调,适用于特定领域知识和高度定制化任务。决策需考虑产品需求、可用数据和成功指标,建议从简单方法入手,逐步增加复杂性。微调方法包括全面微调和成本效益更高的参数高效微调(PEFT)。

是否进行微调?

DEV Community
DEV Community · 2025-01-05T02:48:13Z

本研究提出IMSM框架,解决大型语言模型中参数高效微调的灾难性遗忘问题。IMSM通过调节原始记忆与增强记忆的贡献,在效率和性能上优于传统PEFT方法,显著提升模型表现。

编织记忆:一种针对大型语言模型的IMSM方法

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-23T00:00:00Z

本文提出了一种基于高斯图模型的参数高效微调(PEFT)方法,首次将高斯图模型应用于PEFT任务。该方法通过$ ext{l}_{2,g}$范数选择关键参数,捕获全局依赖关系。在微调RoBERTa-Base时,实验结果显示该方法表现优异,显著减少了所需的可训练参数。

Adaptive Principal Component Allocation and $ ext{l}_{2,g}$ Regularized Gaussian Graphical Model: Efficient Fine-Tuning of Large Models

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-11T00:00:00Z

本文探讨了提高大型语言模型(LLMs)推理效率的方法,包括动态计算资源分配、参数高效微调(PEFT)和新型解码技术。研究表明,采用适应性方法和少量可调参数,LLMs在多种任务上可实现与大型模型相似的性能,同时加速解码过程,提升模型的泛化能力和准确性。

可信解码参考:一种无训练增强大语言模型的新范式

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-30T00:00:00Z

本文介绍了大型语言模型的参数高效微调(PEFT)方法,强调在选择微调技术时需考虑任务类型和数据可用性。提出了PEQA和IncreLoRA等新方法,以解决数据不足和计算资源消耗问题,提升微调效率。研究表明,ID³方法通过动态评估参数重要性,显著提高了计算效率和模型性能。

PEDRO:基于提示依赖的参数高效微调表示修改

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-26T00:00:00Z

该论文提出了一种深度学习的参数高效微调(PEFT)框架,比较了不同方法在视觉任务中的表现。研究发现,集成方法提供更可靠的不确定性估计,而新方法DyT通过动态调整和轻量级适配器提高了模型的参数和推理效率,适用于多种视觉任务。SVFit方法在资源受限环境中表现优越,显著减少了可训练参数。

用于不确定性意识深度估计的参数高效贝叶斯神经网络

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-25T00:00:00Z

本文评估了参数高效微调(PEFT)技术在医学图像分析中的应用,比较了16种PEFT方法,发现某些情况下性能提升可达22%。研究表明,PEFT在医学图像识别和文本生成中具有实际价值,并能通过动态视觉提示调整有效适应不同医学图像输入变化。

高效微调压缩模型以实现大模型在医学图像分析中的部署

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-18T00:00:00Z

该研究提出了一种在临床领域应用预训练语言模型的方法,通过参数高效微调技术提升了多个临床预测任务的性能,尤其在时间序列预测和医学成像任务中表现优异。研究表明,LoRA方法在不同模型规模下均能保持高效性能,推动了深度学习在医学领域的应用。

超越LoRA:探索时间序列基础模型的高效微调技术

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-17T00:00:00Z

本研究探讨了通过参数高效微调(PEFT)方法,特别是量化低秩适配(QLORA),来操控大型语言模型(LLMs)的个性特征。研究结果表明,该方法在生成表情符号和个性操控方面具有显著优势。

From Text to Emoji: How PEFT-Driven Personality Manipulation Unleashes the Emoji Potential in LLMs

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-16T00:00:00Z

本文介绍了一种名为视觉提示调优(VPT)的高效方法,用于调整大规模Transformer模型。VPT通过引入少量可训练参数,提升了模型在下游任务中的表现,并降低了存储成本。研究探讨了多种参数高效微调(PEFT)方法,强调了其在视觉变换器适应中的成功应用,并提出了动态调整(DyT)和稀疏调优等新方法,以提高推理效率和模型性能。

iConFormer:基于输入条件适应的动态参数高效调优

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-04T00:00:00Z

本研究提出了多种参数高效微调(PEFT)方法,以优化联邦学习中的大型语言模型。通过SLoRA和FedLoRA等技术,显著提升了模型性能,减少了训练时间和通信成本,同时保护数据隐私。实验结果表明,这些方法在准确性和效率上优于传统方法。

通过交替最小化LoRA实现基础模型的鲁棒联邦微调

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-04T00:00:00Z

该研究提出了UniPELT框架,通过门控机制激活不同的PELT子模块,提升了模型在GLUE基准测试中的表现。同时,探讨了参数高效微调(PEFT)方法的有效性,提出新技术以应对数据不足和计算限制,强调其在少样本自然语言生成中的应用潜力。

逐步解锁以实现大语言模型的参数高效微调

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-26T00:00:00Z

该研究探讨了参数高效微调(PEFT)在大型语言模型(LLMs)中的应用,强调创新架构和多模态探索的重要性。通过黑盒优化和稀疏微调方法,发现这些方法在性能上优于传统微调。提出的直观微调(IFT)结合监督微调与人类反馈,提升了模型在生成和推理任务中的表现,并关注反馈数据集的整合与优化,以提高模型的适应性和公平性。

Minuscule SFT Loss for Fine-Tuning Large Language Models to Enhance Performance and Reduce Model Bias

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-20T00:00:00Z

本文介绍了一种新的参数高效微调方法LoRA-XS,利用奇异值分解(SVD)在大模型上实现了显著的参数效率和竞争性能。通过引入稀疏低秩适应性(SoRA),动态调整内在秩,提升了LoRA的表现。实验结果表明,SoRA在保留70%参数的情况下超越了其他基准模型。此外,AdaLoRA、动态低秩适应和PRILoRA等方法在自然语言处理任务中也表现优越。

SARA: 基于奇异值的自适应低秩调整

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-06T00:00:00Z

本文探讨了参数高效微调(PEFT)在大型预训练语言模型中的应用,尤其是在机器翻译任务中的表现。研究表明,采用合适的微调方法,如Houlsby+Inversion适配器,可以在资源有限的情况下实现高效的翻译准确性。PEFT方法在小数据集上优于全模型调整,并在多模态学习中表现良好,强调了其必要性及未来研究潜力。

利用参数高效训练方法进行低资源文本分类:以马拉地语为例的案例研究

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-06T00:00:00Z

本文提出了多种参数高效微调(PEFT)技术,旨在优化医学图像分类的训练过程,包括精细化提示调整(FPT)、动态视觉提示调整(DVPT)和通用并行调优(UniPT)。研究表明,DVPT在多项任务中超越传统微调方法,显示出PEFT在医学图像分析中的应用价值。

FPT+:一种面向高分辨率医学图像分类的参数和内存高效迁移学习方法

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-05T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码