RanDeS:随机化增量超叠加用于多模型压缩
📝
内容提要
本研究解决了多模型压缩中的任务干扰问题,提出了一种创新的压缩和检索方案,通过随机正交变换来去相关化模型参数,从而降低干扰并提升性能。该方法在视觉和语言任务中均显著改善了效果,并且可以灵活地添加或移除模型,支持高效的多模型服务。
➡️
本研究解决了多模型压缩中的任务干扰问题,提出了一种创新的压缩和检索方案,通过随机正交变换来去相关化模型参数,从而降低干扰并提升性能。该方法在视觉和语言任务中均显著改善了效果,并且可以灵活地添加或移除模型,支持高效的多模型服务。