ChatGPT擅长搜索排序吗？
原文中文，约2700字，阅读约需7分钟。
📝
内容提要
这篇EMNLP2023论文研究了大语言模型在搜索排序中的表现，提出了一种直接输出段落排序组合的方案，并使用蒸馏技术将GPT-4的排序能力转移到更小的模型上。实验结果显示，GPT-4在TREC和BEIR数据集上表现优异，使用GPT-4对由ChatGPT重排序的段落进行重新排序的方法取得了良好结果。
❓
Q&A
ChatGPT在段落重排序任务中的表现如何？
ChatGPT在段落重排序任务中表现良好，尤其在BEIR数据集上超过了大多数监督基线。
论文中提出了哪些零样本段落重排序的指令？
论文提出了查询生成、相关性生成和排序生成三种零样本段落重排序的指令。
如何将GPT-4的排序能力转移到更小的模型上？
采用蒸馏技术将GPT-4的排序能力转移到更小的专用模型中，以减少两者输出之间的差异。
GPT-4在TREC和BEIR数据集上的表现如何？
GPT-4在TREC和BEIR数据集上表现优异，显著提高了nDCG@10。
滑动窗口策略在段落排序中有什么问题？
滑动窗口策略在全局上可能不公平，因为不同段落之间的排序未必存在偏序传递关系。
使用GPT-4对ChatGPT重排序的段落有什么优势？
使用GPT-4对ChatGPT重排序的段落成本仅为使用GPT-4进行重排序的1/5，同时取得了良好的结果。
🏷️
