小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本文探讨了低秩矩阵补全方法在真实应用中样本过程与数据值独立假设的不足,通过实验比较不同算法在数据依赖采样下的表现,发现调整算法能显著提升补全性能。

截断矩阵补全 - 实证研究

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-14T00:00:00Z

本研究提出了一种基于长时间点轨迹的对象分割方法,克服了传统方法对瞬时运动的依赖。通过新的损失函数,将轨迹分组为低秩矩阵,有效建模复杂运动模式,提升了运动分割任务的表现,展示了长期运动的应用潜力。

Learning Segmentation from Point Trajectories

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-01-21T00:00:00Z

本文提出了一种名为SNELL的方法,旨在解决稀疏调优中的内存使用问题。该方法通过将可调矩阵分解为两个低秩矩阵,并引入竞争式稀疏化机制,降低内存占用,同时在多个任务中保持高性能。

扩展稀疏调优以降低内存使用

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-04T00:00:00Z

微调大型语言模型通常需要大量计算资源。LoRA通过低秩矩阵减少参数,降低计算和内存需求。QLoRA在此基础上加入4位量化,进一步减少内存使用。LoRA适合高精度需求,QLoRA适合内存极限情况,性能损失小。

LoRA与QLoRA:简明微调技术解析

DEV Community
DEV Community · 2024-10-08T15:49:48Z

本文介绍了Delta-LoRA,一种高效微调大型语言模型的新方法。Delta-LoRA通过增量更新低秩矩阵,解决了学习表示的不足,同时在内存和计算成本上保持相似。实验结果表明,Delta-LoRA在性能上明显优于现有方法,验证了其有效性。

PMSS:用于大规模语言模型微调的预训练矩阵骨架选择

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-25T00:00:00Z

本文介绍了OptSpace算法,该算法通过奇异值分解和局部流形优化有效重构低秩矩阵,展现出良好的鲁棒性,并在协同过滤数据集上表现优异。此外,研究还探讨了多种矩阵补全和在线学习算法,提出了一种改进的低秩矩阵补全方法,展示了其在不同条件下的优越性能。

在线矩阵补全:一种基于热门项目的协作方法

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-11T00:00:00Z

本文研究低秩矩阵重构问题,分析了在噪声影响下的矩阵填充算法OptSpace、ADMIRA和FPCA的性能。实验结果表明,这些算法能够有效重构实际和随机生成的数据矩阵。此外,提出了新的ADMM算法和低秩张量逆问题的优化算法,展示了其在多种应用中的优越性和收敛性。

部分观测下的预测低秩矩阵学习:混合投影 ADMM

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-18T00:00:00Z

本文探讨了在随机投影压缩数据上进行低秩矩阵和张量分解的方法,研究了如何在压缩域内重构原始因子。实验验证了该方法在基因表达和脑电数据集中的有效性,并提出了多种压缩技术以提高数据解压缩性能。

可直接在压缩数组上执行的操作及误差是多少?

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-17T00:00:00Z

这篇研究论文探讨了偏最小二乘(PLS)方法在标量回归中的应用,提出了Smart Predict, then Optimize (SPO)框架以提升预测模型性能。同时,介绍了隐私保护的部分最小二乘回归(P3LS)技术,能够在保护隐私的同时实现数据集成。研究还解决了低秩和稀疏矩阵最小化问题,展示了多种算法的有效性和应用。

一种快速算法以最小化多项式整数线性规划逆优化问题的预测损失

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-05-23T00:00:00Z

本文提出了一种新的非凸规范化算法,旨在高效恢复低秩矩阵和进行主要成分分析。研究表明,在特定条件下,局部最小值可达到全局最小值。该算法在神经钙成像视频分割等大数据集上的应用显示出显著优势。

正则化非负标度不变低秩逼近模型的高效算法

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-03-27T00:00:00Z

本文研究了高斯噪声下随机变量的最小均方误差(MMSE)估计,揭示了信噪比与输入分布的关系。提出了基于梯度下降的低秩矩阵估计框架,分析了高维推断中的正则化方法,并探讨了互信息与均方误差的关系。研究还涉及非线性观测信号的估计及其应用表现。

非线性低秩矩阵估计的基本限制

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-03-07T00:00:00Z

本文研究了低秩矩阵问题中的投影梯度下降法,利用Burer-Monteiro分解实现低秩性,重点分析了半正定约束和特定矩阵范数约束。提出的投影因式梯度下降算法在量子状态重构和稀疏相位恢复中表现优异,显示出局部线性收敛特性。

关于 Brenier 的极分解的神经实现

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-03-05T00:00:00Z

LoRA是一种针对大型语言模型的微调方法,通过引入可训练的低秩矩阵来适应特定任务,无需重新训练整个模型。LoRA通过低秩更新模型参数,减少训练资源和时间,实现在特定应用领域内最佳性能。

LoRA 微调和低秩矩阵 - 蝈蝈俊

蝈蝈俊
蝈蝈俊 · 2024-02-25T12:10:00Z

Delta-LoRA是一种用于微调大型语言模型的新方法,通过增量更新低秩矩阵和预训练权重来解决学习表示的问题。实验证明,Delta-LoRA优于其他低秩适应方法。

LoRA+:大型模型的高效低秩自适应

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-02-19T00:00:00Z

本文提出了一种具有优越性能的Riemannian随机拟牛顿算法,能够在不确定性的情况下实现多个梯度的加、减、平均,并对非凸和收缩凸函数进行了收敛性分析。实验结果表明该算法在计算Karcher平均值和低秩矩阵时优于当前最先进的批量和随机梯度算法。

化合收益降低强化学习的方差

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-02-06T00:00:00Z

本研究提出了一种通过非凸优化从线性测量中估计低秩矩阵的算法,适用于有噪声和无噪声的情况,并以线性速率收敛于未知低秩矩阵。实验证明该算法优于现有算法。

低秩张量恢复的因式化梯度下降法

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-01-22T00:00:00Z

本文介绍了LongLora和LongQLora两种长文本处理技术,分别通过稀疏局部注意力和低秩矩阵自注意力机制来扩展模型上下文和减少可训练参数数量。这些技术在长文本处理方面表现出良好效果。

大模型上下文长度的超强扩展:从LongLoRA到LongQLoRA(含源码剖析)

结构之法 算法之道
结构之法 算法之道 · 2024-01-03T16:10:53Z

Delta-LoRA是一种新颖的参数高效的方法,用于微调大型语言模型。它通过更新低秩矩阵A和B,并利用两个低秩矩阵的乘积的增量将学习传播到预训练权重W,有效地解决了低秩矩阵的增量更新对于学习适用于下游任务的表示的不足。Delta-LoRA与LoRA具有相当的内存需求和计算成本,大量实验表明Delta-LoRA明显优于现有的低秩适应方法。

VeRA:基于向量的随机矩阵适应

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-17T00:00:00Z

DePT是一种新的参数高效微调方法,通过将软提示分解为较短的软提示和一对低秩矩阵并使用两个不同的学习率进行优化。在23个自然语言处理和视觉语言任务上的实验表明,DePT在某些情况下优于最先进的参数高效微调方法,包括完全微调基线。此外,DePT在模型规模增大时更加高效,并且适用于少样本学习设置和各种模型架构和规模。

通过低秩重参数化分解的提示调整

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-16T00:00:00Z

Delta-LoRA是一种新颖的参数高效的方法,用于微调大型语言模型。它通过更新低秩矩阵A和B,并利用两个低秩矩阵的乘积的增量将学习传播到预训练权重W,从而有效地解决了低秩矩阵的增量更新对于学习适用于下游任务的表示的不足。Delta-LoRA与LoRA具有相当的内存需求和计算成本,大量实验表明Delta-LoRA明显优于现有的低秩适应方法。

NOLA:网络作为低秩随机基组合的线性组合

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-04T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码