双编码器在极端多标签分类中的效果
原文中文,约300字,阅读约需1分钟。发表于: 。通过研究表明,经过正确训练的标准双编码器模型在极限多标签分类问题中可以匹配或超越状态 - of-the-art 极限分类方法在 Precision@1 方面的性能,并且在可训练参数的数量上小 20 倍。
本文介绍了GTR模型,它是一种双编码器模型,通过多阶段训练并扩大模型规模,在保持瓶颈嵌入大小不变的情况下,成功挑战了双编码器无法推广到其他域的观念。GTR在域外泛化方面表现出显著的检索性能提高,并且在BEIR数据集上优于现有的稀疏和密集的检索模型。消融研究表明,GTR在数据效率方面非常高效,只需要MS Marco 10%的监督数据即可实现最佳的跨域检索性能。