引导与切换：交替蒸馏用于零样本密集检索

裁剪的小型语言模型在信息检索任务中表现出强大竞争力。压缩和稠密模型在实际应用中更受欢迎，但模型大小和早期查询文档交互对泛化能力有重要影响。增加模型大小对相同领域测试数据集几乎没有增益，但在新领域上有更大提高。reranker在几个任务中优于稠密模型。最大reranker在18个数据集中的12个达到最先进水平，平均超过以前最优结果3个点。域内有效性是零-shot有效性的好指标。