双编码器在极端多标签分类中的效果

本文介绍了GTR模型，它是一种双编码器模型，通过多阶段训练并扩大模型规模，在保持瓶颈嵌入大小不变的情况下，成功挑战了双编码器无法推广到其他域的观念。GTR在域外泛化方面表现出显著的检索性能提高，并且在BEIR数据集上优于现有的稀疏和密集的检索模型。消融研究表明，GTR在数据效率方面非常高效，只需要MS Marco 10％的监督数据即可实现最佳的跨域检索性能。