美团技术团队将LLM语义表征应用于搜索排序，提升语义匹配能力。工程落地需关注成本、延迟、缓存和回滚，建议按场景灰度并拆分监控。跨场景复用可降本，但需明确边界和降级策略。普通团队应先小范围验证，列清延迟、更新频率、降级和监控四张表，视其为长期维护的基础设施。

这篇EMNLP2023论文研究了大语言模型在搜索排序中的表现，提出了一种直接输出段落排序组合的方案，并使用蒸馏技术将GPT-4的排序能力转移到更小的模型上。实验结果显示，GPT-4在TREC和BEIR数据集上表现优异，使用GPT-4对由ChatGPT重排序的段落进行重新排序的方法取得了良好结果。