LoRS：稀疏大型语言模型的高效低秩适应

本研究解决了现有低秩适应方法在稀疏大型语言模型上无法保持稀疏性的挑战。提出的LoRS方法通过权重重新计算和计算图重排策略，实现了在微调稀疏LLMs时的内存和计算效率，同时通过更好的适配器初始化提高了效果，显著降低了微调阶段的内存与计算消耗，且超越了现有的LoRA方法的性能。