小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

奇异值分解(SVD)是一种强大的矩阵分解技术,但在处理大矩阵时计算成本高。随机SVD通过随机投影有效地近似SVD,首先生成高斯随机矩阵,对数据矩阵进行压缩,最后进行QR分解和SVD以获得近似结果。

随机奇异值分解

Lei Mao's Log Book
Lei Mao's Log Book · 2026-01-19T08:00:00Z

本文探讨了在正交约束下求解非方阵最速下降方向的方法,提出了一种基于迭代算法的解决方案,涉及矩阵谱范数和切空间的概念。通过数值算法和奇异值分解(SVD)技术,解决了优化问题,并比较了不同方法的效果。

流形上的最速下降:3. Muon + Stiefel

科学空间|Scientific Spaces
科学空间|Scientific Spaces · 2025-08-08T05:08:00Z
使用NumPy和SciPy高效求解线性方程组

线性方程组在物理、经济、工程和机器学习等领域非常重要。使用NumPy的线性代数函数高效求解这些方程,尤其在系统规模增大时。NumPy提供多种求解方法,如np.linalg.solve()、矩阵分解和奇异值分解(SVD),适用于稀疏矩阵和病态矩阵。

使用NumPy和SciPy高效求解线性方程组

DEV Community
DEV Community · 2025-05-09T14:11:54Z

本研究提出了一种基于奇异值分解的最小二乘法(SVD-LS)框架,通过自监督和迁移学习提取深度特征,实现多类别肺炎的准确诊断,显著降低计算成本,适用于实时医学影像。

Application of SVD-Based Least Squares Method in X-ray Pneumonia Classification

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-29T00:00:00Z
ICLR 2025 Spotlight | 参数高效微调新范式!上海交大联合上海AI Lab推出参数冗余微调算法

本文探讨了低秩适配器(LoRA)在微调中的局限性,并提出了参数冗余微调范式及NoRM算法。NoRM通过奇异值分解(SVD)去除冗余参数,从而提升模型性能。实验结果显示,NoRM在指令微调、数学推理和代码生成任务中优于传统方法,有效减少幻觉噪声,增强模型的泛化能力。

ICLR 2025 Spotlight | 参数高效微调新范式!上海交大联合上海AI Lab推出参数冗余微调算法

机器之心
机器之心 · 2025-04-03T05:54:23Z

本研究提出了一种名为AC-LoRA的新方法,解决个性化图像生成中LoRA参数调整的问题。该方法通过奇异值分解和动态启发式算法,实现了快速高效的个性化艺术风格图像生成,模型适应性显著提高,验证结果显示多个指标平均提升9%。

AC-LoRA: An Automated Component LoRA for Personalized Artistic Style Image Generation

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-03T00:00:00Z
奇异值分解(SVD):第二部分

奇异值分解(SVD)是一种重要的数学工具,广泛应用于机器学习、数据分析和图像处理。它可用于计算伪逆、解决线性方程、曲线拟合和数字信号处理。通过Python库实现SVD,可以有效压缩图像并保留关键特征。

奇异值分解(SVD):第二部分

DEV Community
DEV Community · 2025-02-20T16:30:00Z
奇异值分解(SVD)

奇异值分解(SVD)是矩阵分解的重要方法,广泛应用于机器学习、数据压缩和降维。它将矩阵A分解为三个矩阵:A = U Σ V^T,其中U和V为正交矩阵,Σ为对角矩阵。通过特征向量和特征值的计算,可以简化复杂数据,提升分析效果。

奇异值分解(SVD)

DEV Community
DEV Community · 2025-02-19T16:30:00Z

本研究提出了一种新的可学习层级扩展方法LESA,旨在解决大规模语言模型训练中的高计算资源需求。通过层参数结合和奇异值分解,LESA优化了模型初始化,提升了训练速度,实验结果表明其性能优于现有基线,并降低了计算成本。

LESA: Learnable Hierarchical Scaling for LLMs

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-19T00:00:00Z

该研究提出了一种利用奇异值分解探索扩散模型潜在空间的新方法,识别出三个关键属性以控制生成结果,并基于此开发了新颖的图像编辑框架,展现出显著的效果和应用潜力。

通过奇异值分解直接探索扩散模型的潜在空间

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-04T00:00:00Z

EDoRA方法通过奇异值分解将预训练权重分解为大小和方向分量,冷冻低秩矩阵,并引入小的可训练矩阵,显著减少可训练参数,最多可减少30倍,同时保持学习能力。实验表明,EDoRA在GLUE基准测试中表现优异,适用于资源受限环境的多任务适应。

EDoRA: Efficient Weight-Decomposed Low-Rank Adaptation via Singular Value Decomposition

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-01-21T00:00:00Z

本研究提出了一种低成本的混合机器学习模型LC-SVD-DLinear,旨在解决稀疏测量数据导致的高分辨率流体力学数据预测问题。该模型结合了奇异值分解和DLinear架构,能够有效捕捉时间数据的非线性动态,显著降低计算成本,并展现出良好的预测与重建能力。

LC-SVD-DLinear: A Low-Cost Physics-Based Hybrid Machine Learning Model for Predicting Sparse Measurement Data

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-26T00:00:00Z

本研究提出了一种新技术,通过重构有限正常形式博弈中的纳什均衡问题,利用随机迭代的奇异值分解和幂迭代方法进行求解,实验结果表明该方法有效解决了博弈的均衡问题。

Solving Nash Equilibria via Stochastic Eigendecomposition

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-04T00:00:00Z

本研究提出了一种新颖的参数高效微调方法,解决了预训练视觉变换器在下游任务中的适应性不足问题。该方法通过奇异值分解和Householder变换构造正交矩阵,显著提升了微调效果,实验结果表明其在视觉任务中表现优异。

Efficient Adaptation of Pre-trained Vision Transformers via Householder Transformation

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-30T00:00:00Z

本文介绍了一种新的参数高效微调方法LoRA-XS,利用奇异值分解(SVD)在大模型上实现了显著的参数效率和竞争性能。通过引入稀疏低秩适应性(SoRA),动态调整内在秩,提升了LoRA的表现。实验结果表明,SoRA在保留70%参数的情况下超越了其他基准模型。此外,AdaLoRA、动态低秩适应和PRILoRA等方法在自然语言处理任务中也表现优越。

SARA: 基于奇异值的自适应低秩调整

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-06T00:00:00Z

本文探讨卷积神经网络在人工智能中的应用及局限性,提出奇异值分解方法分析非人类因素,并建立新的特征分配理论框架。同时,研究提出OIALR训练方法和ASVD压缩技术,以提高模型性能和压缩效率,解决训练数据和资源依赖问题。

RO-SVD:一种用于人工智能图像处理应用的可重构硬件版权保护框架

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-17T00:00:00Z

该论文提出了一种新颖的可控人体动作合成方法,利用静态点的辐射场和奇异值分解,显著提升了复杂变形效果。实验结果表明,该方法在3D角色生成方面优于现有技术,并具有良好的推广应用潜力。

通过时间一致的点云采样和重构实现任何人体骨架的动作关键帧插值

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-05-13T00:00:00Z

本文探讨了通过组合优化和低秩矩阵分解技术压缩卷积神经网络(CNN),以降低网络复杂度并保持精度。研究表明,奇异值分解(SVD)和张量分解等方法能够显著提高分类性能,减少存储需求,并加速推理和训练过程。实验结果显示,这些技术在多种现代CNN模型上表现出色,尤其适用于边缘设备。

正弦激活低秩矩阵用于参数高效学习

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-03-28T00:00:00Z

该研究通过分析神经网络权重的奇异值分解,探究了神经网络的学习动力学。研究发现,在训练过程中,每个多维权重的SVD表示中存在一个稳定的正交基。基于此,研究提出了一种新的训练方法,即利用神经网络的内在正交性的OIALR训练。通过基准测试,证明了OIALR在各种数据集和网络架构上的准确度损失最小,可以超越传统的训练设置。

利用正交性训练低秩神经网络

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-01-16T00:00:00Z

该研究探讨了深度神经网络的训练和网络参数之间的复杂动力学关系,发现训练网络往往沿着单一方向进行训练,被称为漂移模式。通过损失函数的二次势模型,解释了这种漂移模式,并提出其向潜在值的指数级缓慢衰减。通过奇异值分解,对权重矩阵进行了分解,以实用的方式识别 Hessian 内的关键方向,同时考虑其大小和曲率。最后,提出了一种有效的策略来缓解神经网络在学习新任务时遗忘之前任务知识的挑战。

神经网络权重矩阵的 Hessian 特征向量和主成分分析

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-11-01T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码