本研究提出了一种基于流形的随机梯度下降方法，解决了正则化的加权低秩逼近问题。实验结果显示，该算法在Netflix数据集上的表现优于传统方法，具有实际应用潜力。

本文提出了一种新方法，通过低秩逼近和特征蒸馏模块提高预训练模型的参数效率，减少原始模型参数1/3至2/3，同时保持性能。研究比较了多种参数高效微调方法，强调在微调大型语言模型时的实际效率，并通过引入重要性评分机制和统一框架，优化了持续学习和迁移学习的效果，提升了模型的性能和鲁棒性。

本文介绍了一种新的精确剪枝技术，利用最优传输方案自动调整探索与开发行为，提升了在不同数据集和模型上的性能。AE-BERT框架在资源受限设备上实现了高效的BERT剪枝，实验表明其在压缩模型后能提高准确性和推理速度。此外，研究探讨了基于Transformer的模型修剪方法，提出了低秩逼近的变体，优化了模型大小与推理速度的平衡。

本文介绍了随机数值线性代数算法及其在大规模数据分析中的应用，涵盖矩阵分解、线性回归和低秩逼近等技术。重点讨论了随机投影和采样算法在并行计算中的优势，以及基于代理模型的自动调整方法在参数选择中的应用，展示了其在实际场景中的有效性和高效性。

本文研究了核脊回归的泛化误差及优化方法，提出了Smoothness Adaptive Transfer Learning (SATL)算法，以解决现有算法适应性不足的问题。通过分析低秩逼近与正则化参数的关系，证明了核岭回归在特定条件下的最优性，并探讨了超参数选择对模型性能的影响。

本研究提出了一种高效的Kronecker乘积回归算法，适用于矩阵逼近和低秩逼近，优化多层神经网络的速度。同时介绍了基于随机列抽样的算法和双因式梯度下降算法，提升了矩阵分解的计算效率和收敛性。

本文提出了一种新方法，通过低秩逼近和特征蒸馏模块，提高预训练模型的参数效率。该方法在保持模型架构的同时，显著减少参数数量和计算时间，适用于多种自然语言处理任务，表现出优越的性能。此外，研究探讨了视觉变换器的参数高效模型适应策略，并提出新的调优方法，强调在少样本情况下的有效性。

该文研究了输入转换设置中的低秩逼近问题，提供了相对误差逼近算法。

该研究提出了基于Transformer的语音识别神经网络语言模型的模型修剪方法，包括准则、方法和调度器，并提出了适用于渐进式压缩模型的低秩逼近的变体。数据驱动的修剪效果优于基于幅度的修剪，渐进式修剪比一次性修剪表现更好，低秩逼近提供了尺寸减小和推理加速之间的最佳平衡。

该研究提出了基于Transformer的语音识别神经网络语言模型的模型修剪方法，包括准则、方法和调度器，并提出了适用于渐进式压缩模型的低秩逼近的变体。研究结果表明，数据驱动的修剪效果优于基于幅度的修剪，渐进式修剪比一次性修剪表现更好，低秩逼近提供了尺寸减小和推理加速之间的最佳平衡。