小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
沉浸式翻译 immersive translate
Dify.AI
从单体到模块化:通过可扩展的LoRA扩展语义路由

语义路由系统面临扩展挑战,多个模型独立运行导致计算成本线性增长。通过重构vLLM语义路由器的分类层,采用模块化架构、低秩适应(LoRA)和并发优化,解决了这一问题。新架构支持多模型,提升了多语言处理能力和长文档支持,显著提高了分类效率和并发性能。

从单体到模块化:通过可扩展的LoRA扩展语义路由

vLLM Blog
vLLM Blog · 2025-10-27T00:00:00Z

本实验搭建了一个基于云主机和Whisper语音识别系统的平台,结合云计算与深度学习技术,帮助开发者优化模型训练和进行语音识别处理,掌握数据预处理和模型训练等关键步骤。适合企业、开发者和学生,预计时长120分钟。

基于开发者空间 Notebook 进行 LoRA 微调 Whisper_base 实现语音识别

华为云官方博客
华为云官方博客 · 2025-08-22T03:41:00Z

LoRA(低秩适配)是一种高效的微调技术,通过低秩分解模型权重矩阵,降低参数和计算开销。实现步骤包括选择基础模型、插入适配模块、冻结原生参数、定义损失函数与评估指标,以及执行端到端训练。示例代码展示了如何使用Hugging Face Transformers库加载模型并配置LoRA设置。

【vLLM 学习】Lora With Quantization Inference

HyperAI超神经
HyperAI超神经 · 2025-08-13T02:22:53Z

ICML 2025 | CoTo:让LoRA训练「渐入佳境」,模型融合、剪枝样样精通

机器之心
机器之心 · 2025-07-26T15:02:09Z
Sakana AI 推出 Text-to-LoRA (T2L):基于任务文本描述生成特定任务 LLM 适配器 (LoRA) 的超级网络

Transformer模型在自然语言处理领域取得了显著进展,但在新任务上仍需复杂的微调。研究者提出了Text-to-LoRA (T2L)技术,能够根据任务描述即时生成LoRA适配器,从而减少训练时间和成本。T2L在多个基准测试中表现优异,展现了其在模型适配方面的灵活性和高效性。

Sakana AI 推出 Text-to-LoRA (T2L):基于任务文本描述生成特定任务 LLM 适配器 (LoRA) 的超级网络

实时互动网
实时互动网 · 2025-06-16T02:34:34Z

SakanaAI推出的Text-to-LoRA(T2L)技术简化了大模型的微调流程,用户只需一句话即可生成LoRA,压缩率达到80%,准确率仅下降1.2%。该技术使非技术用户能够轻松适配模型,推动“文本驱动”时代的到来。

一句话生成任务专属LoRA!Transformer作者创业公司颠覆LLM微调

量子位
量子位 · 2025-06-13T09:28:39Z

本文介绍了如何通过微调已有文档,优化金仓平台的智能体,以提升其在离线环境下回答数据库迁移问题的能力。采用LoRa技术和Spring AI框架处理文档数据,实现模型私有化部署,从而提高响应速度和数据安全性。

从零到一:利用金仓社区数据,LoRa微调与Spring AI 构建私有化千问模型 - 努力的小雨

努力的小雨
努力的小雨 · 2025-05-08T05:42:00Z

LoRA中到底有多少参数冗余?新研究:砍掉95%都能保持高性能

机器之心
机器之心 · 2025-05-02T10:36:52Z

本研究提出TT-LoRA MoE框架,结合参数高效微调与稀疏专家混合路由,解决大型模型部署的可扩展性问题,显著提升多任务推理的计算效率与灵活性。

TT-LoRA MoE:统一参数高效微调和稀疏专家混合模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-29T00:00:00Z

本研究提出Tina模型系列,采用低秩适应技术,在资源有限的情况下实现高效推理,显著降低计算成本,并与先进模型竞争。

通过LoRA实现微型推理模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-22T00:00:00Z

本研究提出了一种经济有效的方法,将大型语言模型(LLMs)应用于留学背景的学术咨询,特别适用于低资源环境中的文化适应。通过低秩适应和4位量化,模型在领域特异性和计算效率上显著提升,最终实现92%的推荐准确率。

Fine-tuning Large Language Models for Educational Guidance in Resource-Constrained Environments Using LoRA

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-22T00:00:00Z

该研究解决了在基于LoRA的持续学习中,关键参数在后任务学习后依然显著变化的问题。提出通过冻结视觉变换器中最关键的参数矩阵,并在正交LoRA调优的基础上,提出了正交LoRA组合(LoRAC),以进一步增强方法的灵活性。实验结果表明,该方法在多个持续学习基准测试中达到了SOTA性能,显著改善了准确性和遗忘率。

基于LoRA的持续学习与关键参数变化的约束

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-18T00:00:00Z

该研究解决了在多轮设置中切换LoRA时高效性不足的问题,通过引入激活的LoRA方法,仅在调用后适应序列中的权重,从而避免了重计算整个缓存。这一创新使得基模型的KV缓存可以被快速利用,创造出所谓的“内在特性”模型,实现了专门化操作的高效执行。

激活的LoRA:内在特性下的微调大型语言模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-16T00:00:00Z
Workers AI获得速度提升、批量工作负载支持、更多LoRA、新模型和全新仪表板

自2023年9月推出以来,Workers AI团队致力于提升平台质量,推出了快速推理的投机解码、异步批处理API和扩展的LoRA支持,显著提升了推理速度和用户体验。

Workers AI获得速度提升、批量工作负载支持、更多LoRA、新模型和全新仪表板

The Cloudflare Blog
The Cloudflare Blog · 2025-04-11T13:00:00Z

本研究提出了一种新方法AutoComponent-LoRA(AC-LoRA),解决个性化图像生成中的LoRA参数调整问题。该方法结合奇异值分解和动态启发式算法,快速高效地生成个性化艺术风格图像,显著提高模型适应性,验证结果显示平均提升9%。

AC-LoRA:用于个性化艺术风格图像生成的自动组件LoRA

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-03T00:00:00Z
FLUX提速1.9X & LoRA热插拔!图像生成加速新标杆lyraDiff全面开源!

腾讯天琴实验室全面开源lyraDiff,提升文生图模型推理速度最高6.1倍,支持多种图像生成模型,并实现无损切换插件,优化推理效率,降低生成成本,适合开发者使用。

FLUX提速1.9X & LoRA热插拔!图像生成加速新标杆lyraDiff全面开源!

实时互动网
实时互动网 · 2025-03-31T08:06:35Z

本研究提出了条件递归扩散框架ORAL,旨在解决大语言模型中低秩适应方法的可扩展性和可控性问题。实验结果表明,ORAL生成的LoRA参数在多项任务中表现优异。

ORAL:通过条件递归扩散提升您的大规模LoRA模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-31T00:00:00Z

本研究提出了VideoMind,一种新的视频语言智能体,旨在解决多模态推理中的视频理解问题。其创新在于角色基础的工作流程和链式LoRA策略,显著提升了视频理解的效果。

VideoMind:一种用于长视频推理的链式LoRA智能体

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-17T00:00:00Z

本研究探讨了低秩适应(LoRA)在微调预训练模型中的理论基础,提出谱初始化方法以改善模型与目标矩阵的对齐,理论证明其能以任意精度收敛,实验结果验证了其有效性。

理解LoRA的学习动态:基于梯度流的低秩适应分析

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-10T00:00:00Z
LoRA和QLoRA:大型语言模型的高效微调

LoRA和QLoRA是高效微调大型语言模型的技术。LoRA通过添加低秩矩阵减少可训练参数,而QLoRA则在此基础上应用量化,进一步降低内存使用。两者保持原始权重不变,提高微调效率,适合低内存设备处理大型模型。

LoRA和QLoRA:大型语言模型的高效微调

DEV Community
DEV Community · 2025-03-06T03:38:38Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码