低秩近似、适应及其他故事

本文研究了在正定核框架下的监督学习问题，提出了一种基于随机矩阵列采样的核矩阵低秩近似方法。

该方法可以在次平方时间复杂度内有效解决核矩阵计算问题，同时保持预测性能不变。

研究探讨了分布式低秩逼近，能够高效计算低秩映射矩阵，并满足通信成本要求。

提出了一种可靠性保证的信息排序机制，利用计算资源进行高效程度排名的学习。

介绍了一种基于学习的算法来解决低秩分解问题，通过学习稀疏矩阵来减小近似误差。

提出了低秩适应（LoRA）方法，通过训练较少的参数减少存储消耗，并适用于全连接神经网络和Transformer网络。

基于观察到低秩适应可以用随机投影来近似，提出了Flora方法，实现高秩更新并保持次线性空间复杂度。

提出了一种放松的WLRA解法，能够输出非低秩矩阵，但使用非常少的参数进行存储，并在低秩情况下提供近似保证。

研究了基于变换器模型的低秩适应更新的计算极限，证明了算法加速的可能性。

通过奇异值分解分析层与秩之间的关系，提出了SARA方法，能够自适应地找到适合的秩，减少参数数量。