早期FIRST重现及单标记解码改进以实现快速列表重排名
发表于: 。本研究针对大型语言模型(LLMs)在列表重排名中的高计算需求,提出FIRST方法,通过集成学习排名目标并利用首个生成标记的logits,显著降低推理延迟。实验验证了FIRST在TREC深度学习数据集上的有效性,并发现不同首阶段检索器对重排名效果的影响,表明此方法可以在提高效率的同时维持跨领域的重排名质量。
本研究针对大型语言模型(LLMs)在列表重排名中的高计算需求,提出FIRST方法,通过集成学习排名目标并利用首个生成标记的logits,显著降低推理延迟。实验验证了FIRST在TREC深度学习数据集上的有效性,并发现不同首阶段检索器对重排名效果的影响,表明此方法可以在提高效率的同时维持跨领域的重排名质量。