本研究探讨了大型语言模型在零-shot信息检索中的任务算术,提出通过数学运算结合模型权重来解决未见任务和领域中的性能下降问题。实验结果显示,该方法在NDCG@10和P@10上的再排序性能分别提升了18%和15%。
本研究分析了多任务学习中任务算术的低效,提出将其视为一次性联邦学习问题。研究发现任务算术与联邦平均算法等价,并探讨了数据和训练异质性对性能的影响,实验结果表明新方法显著提升了模型性能。
完成下面两步后,将自动完成登录并继续当前操作。