本文提出了一种新方法LoRI,旨在减少多任务低秩适应中的参数干扰和开销。通过随机投影和任务特定掩模,LoRI显著降低了可训练参数数量,同时保持强大性能,实验表明其可减少95%的可训练参数。
本文提出了一种新的“低质量”嵌入定义,通过随机投影将问题降低到与目标空间中近似最近邻的k个近似最近邻象限所对应的原像空间的维度成反比的空间中。通过BBD树等数据结构,可以有效检索这k个近似最近邻点。此方法可以获得所需的线性空间和时间复杂度为O(dn^ho)的查询时间,并可直接解决approximate nearest neighbor problem问题,具有比基于BBD树的方法更好的查询时间指数。
完成下面两步后,将自动完成登录并继续当前操作。