LoRA（低秩适应）是一种高效的微调方法，通过低秩分解减少大模型微调时的参数量和存储需求，仅更新少量参数，接近全参数微调效果。QLoRA 通过量化技术进一步提升了在单卡上微调大模型的能力。LoRA 在指令微调和风格迁移等任务中表现优异，但在需要大量新知识的场景中可能不如全参数微调。

本研究提出了一种新方法，解决设备端学习中的内存和计算约束问题，作为低秩分解的替代方案。实验结果表明，该方法在激活内存使用上可降低120.09倍，并减少训练FLOPs达1.86倍。

本研究提出了一种新框架I²LDL，解决不完整标签分布学习中标签不平衡的问题。通过低秩分解和稀疏成分，有效捕捉标签结构，实验验证了其效果和鲁棒性。

本文介绍了一种新的神经网络压缩框架，利用简洁再参数化和噪声稳定性来估计神经网络的泛化性能。研究表明，模型压缩能够提升泛化能力，并提供新的泛化误差界限。通过低秩分解和互信息分析，提出了有效的压缩方法，并在多种网络和数据集上展示了其优越性。此外，研究还探讨了无标签学习和统计监督学习算法的泛化误差界限，提出了基于Loss Gradient Gaussian Width的泛化保证方法。

本文探讨了大型语言模型的压缩与优化方法，包括低秩分解、LASER方法和LoTR微调。研究表明，通过选择性删除冗余组件和使用新型神经组件，可以在保持性能的同时显著减小模型规模。此外，TTLM模型在语言建模任务中表现优越，展示了低维度计算的潜力。

本文提出了一种创新的大规模语言模型压缩方法，通过降阶建模和重参数化，在内存和时间限制下逐层压缩十亿级模型。该方法结合低秩分解和结构化剪枝，显著提高了训练和推理速度，适用于BERT模型的微调，表现优于现有技术。

通过低秩分解和重构技术，提出了一种统一跟踪器Un-Track。该方法通过学习共同的潜在空间来处理任何模态，并且只使用RGB-X对来学习共同的表示。在五个具有不同模态的基准数据集上的比较表明，Un-Track超过了最先进的统一跟踪器和经过模态特定微调的对应物，验证了其有效性和实用性。