Spotify将生成式AI用于播客推荐,采用基于语义ID的生成式检索与beam search生成候选。因vLLM的beam search效率有限,Spotify与NVIDIA合作改进TensorRT LLM,补齐多序列返回、评分API和软令牌注入等功能,并探索用用户嵌入投影实现个性化。优化后beam search成本降低最高54%,评分成本降低7%。
完成下面两步后,将自动完成登录并继续当前操作。