本研究提出了一种基于奇异值分解的最小二乘法(SVD-LS)框架,通过自监督和迁移学习提取深度特征,实现多类别肺炎的准确诊断,显著降低计算成本,适用于实时医学影像。
本文介绍了如何使用Python和矩阵分解构建电影推荐系统。通过使用“surprise”库,作者演示了加载MovieLens 100K数据集、数据处理以及利用奇异值分解(SVD)模型进行训练和评估,最终根据用户评分历史推荐电影。
奇异值分解(SVD)是一种重要的数学工具,广泛应用于机器学习、数据分析和图像处理。它可用于计算伪逆、解决线性方程、曲线拟合和数字信号处理。通过Python库实现SVD,可以有效压缩图像并保留关键特征。
奇异值分解(SVD)是矩阵分解的重要方法,广泛应用于机器学习、数据压缩和降维。它将矩阵A分解为三个矩阵:A = U Σ V^T,其中U和V为正交矩阵,Σ为对角矩阵。通过特征向量和特征值的计算,可以简化复杂数据,提升分析效果。
SVD常用于推荐系统的协同过滤,通过分解用户-物品矩阵(U、S、Vt)来预测缺失评分,识别用户评分模式并重构矩阵填补缺失值。示例中使用Python实现了简单的电影推荐系统,预测用户评分并推荐电影。
本研究提出了一种低成本的混合机器学习模型LC-SVD-DLinear,旨在解决稀疏测量数据导致的高分辨率流体力学数据预测问题。该模型结合了奇异值分解和DLinear架构,能够有效捕捉时间数据的非线性动态,显著降低计算成本,并展现出良好的预测与重建能力。
本文针对LoRA微调模型合并效果不佳的问题进行了研究,提出了一种新的方法KnOTS,通过SVD对不同LoRA模型的权重进行联合变换,从而提高模型的对齐度。研究表明,KnOTS在多个视觉和语言基准上能够将LoRA合并效果提升多达4.3%,为模型合并领域提供了新的评估标准和显著的改进。
本研究利用各种机器学习技术(包括非负矩阵分解、截断奇异值分解和 K-Means 聚类)开发了一个鲁棒的电影推荐系统,旨在提供个性化的电影推荐,研究包括数据预处理、模型训练和评估,结果表明该系统在推荐准确性和相关性上取得了很高的成果,对推荐系统领域做出了重要贡献。
研究了一种名为ASVD的后期无训练压缩范式,用于压缩大型语言模型(LLMs)。ASVD通过调整权重矩阵来管理激活异常值,提高分解的准确性和效率。实验证明,ASVD能够在不损失推理能力的情况下压缩网络10%-20%。
基于协方差算子的耦合协方差本征值问题,提出了一种新的非对称学习范式,与 KSVD 相关的非对称内核矩阵 SVD 获得解决方案。通过有限样本近似形式化了非对称 Nystrom 方法以加快训练,并验证了 KSVD 的实际效用和优势。
本文提出了一种改善视频描述生成的方法,通过建模视频帧和描述概念之间的高阶交互。该方法通过存储先前的视觉注意力,在已经看过和描述过的内容的基础上进行描述。评估结果表明,该方法优于以前的视频描述方法。
一种基于奇异值分解算法的基于区域的有损图像压缩技术 PatchSVD,在图像压缩领域具有优势,与 JPEG 和基于 SVD 的压缩方法相比,PatchSVD 具有可取代的压缩效果和压缩伪影。
基于 Transfomer 的预训练大型语言模型(LLM)展示了令人惊叹的上下文学习能力(ICL)。在本文中,我们展示了基于 SVD 的权重剪枝可以增强 ICL 性能的有趣现象,并且在深层剪枝权重通常导致浅层性能的更稳定的改善。然而,这些发现的基本机制仍然是一个悬而未决的问题。为了揭示这些发现,我们通过展示 ICL 的隐式梯度下降(GD)轨迹,并通过完全的隐式 GD 轨迹给出基于互信息的...
该研究提出了一种新的混合算法,通过在标准的协同过滤技术中加入用户和物品方面的信息,利用奇异值分解的广义公式,增加了解的灵活性,并在其潜在空间上施加预期的结构。在各种数据集上评估后,证明了该方法在类似的混合模型中的优越性。
硅基流动开发的OneDiff图片/视频推理加速引擎发布了v1.0.0版本,解决了问题并增加了新特性和改进。OneDiff保持2-3倍的推理加速,帮助节省成本。已在多家企业应用。
Stable Video Diffusion (SVD)是一种图像到视频的模型,可以以可定制的帧率生成14和25帧的视频,帧率范围为3到30帧每秒。1.1版本的模型可以以1024x576的分辨率生成25帧。SVD是一个开源模型,擅长直接生成视频。它与AnimateDiff等其他视频生成技术不同,但可以一起使用。文章还提到了免费试用和购买资源。引入了ComfyUI工具,用于部署和使用SVD模型进行视频生成。文章最后提到了进一步改进生成的视频的可能性。
该研究发现神经网络训练中的权重奇异值分解存在一个稳定的正交基。基于此,提出了一种新的训练方法OIALR,可以无缝集成到现有的训练工作流中,准确度损失最小,超越传统训练设置。
本文介绍了一种异步的基于拟牛顿算法的竖直联邦学习框架,以及三个相应的算法。这些算法通过缩小下降步长来减少通信轮次,并更好地利用计算资源。实验结果表明,这些算法在真实数据集上具有更低的通信成本和更好的计算资源利用率。
今年,Runway发布了Gen-1和Gen-2模型,提升了视频生成的一致性,但牺牲了动态性。Meta发布了Emu Video,动态性有所提高。Stability.ai发布了SVD模型,效果与Gen-2相当,但缺乏动态性。PixelDance是视频生成领域的重要研究成果,可以生成高度一致且丰富动态的视频。PixelDance有两种生成模式,基础模式和高级魔法模式。它可以根据用户提供的图片和文本生成各种风格的视频。PixelDance的生成效果出色,不依赖复杂的数据集和大规模的模型训练。PixelDance的论文提出了基于文本和图片指导的视频生成方法。作者正在积极迭代模型效果,未来2-3个月将发布试用模型。
完成下面两步后,将自动完成登录并继续当前操作。