推进生成式推荐推理：我们与NVIDIA在TensorRT LLM上的合作
内容提要
Spotify将生成式AI用于播客推荐，采用基于语义ID的生成式检索与beam search生成候选。因vLLM的beam search效率有限，Spotify与NVIDIA合作改进TensorRT LLM，补齐多序列返回、评分API和软令牌注入等功能，并探索用用户嵌入投影实现个性化。优化后beam search成本降低最高54%，评分成本降低7%。
延伸解读
从vLLM到TensorRT LLM：推理引擎的取舍
Spotify最初使用vLLM进行生成式播客推荐，但其beam search实现运行在GPU核心引擎之外，导致CPU瓶颈和KV块重计算，无法充分利用高端GPU。为此，Spotify转向TensorRT LLM，并与NVIDIA合作补齐多序列返回、评分API和软令牌注入等功能。这一迁移不仅提升了硬件利用率，还使beam search成本降低最高54%，评分成本降低7%。
个性化推荐的三条技术路径
Spotify探索了三种基于LLM的个性化方法：纯文本用户历史、用户语义ID和用户嵌入投影。纯文本方法因提示过长导致延迟和GPU成本过高；语义ID方法虽保持提示简短，但需进一步实验；最成功的是基于现有用户嵌入的投影方法，将用户向量映射为LLM嵌入空间中的软令牌，已成功用于播客推荐，并正在内部LLM中评估。
合作成果与未来优化方向
与NVIDIA的合作已为TensorRT LLM贡献了多项功能，包括beam search多序列返回、多模态嵌入传递和多项目评分API，这些改进已集成到近期版本中。展望未来，Spotify计划继续与NVIDIA合作，重点探索量化和Blackwell架构特定技术，以进一步提升推理性能并控制成本，支撑更复杂的个性化推荐。
Q&A
Spotify 如何将生成式 AI 用于播客推荐？
Spotify 采用基于语义 ID 的生成式检索，使用 beam search 探索多个 token 序列路径来生成候选推荐。这些高分序列构成语义 ID，再转换为目录项推荐给用户。
为什么 Spotify 需要与 NVIDIA 合作改进 TensorRT LLM？
因为 vLLM 的 beam search 效率有限，无法充分利用高端 GPU，而 TensorRT LLM 虽然硬件利用率高，但缺少 Spotify 需要的多序列返回、评分 API 和软令牌注入等功能。合作旨在将这些功能统一到一个引擎中。
Spotify 在个性化 LLM 请求方面最成功的方法是什么？
最成功的方法是基于现有用户嵌入，学习一个从嵌入空间到 LLM 嵌入空间的投影作为单个软令牌。推理时，将用户向量投影后插入提示中，LLM 经过微调后能利用该软令牌个性化推荐输出。
与 NVIDIA 合作后，TensorRT LLM 增加了哪些关键功能？
增加了 beam search 中返回多个序列（v1.2.0rc3）、trtllm-serve 支持树外模型（v1.2.0rc4）、通过 image_embeds 传递多模态嵌入（v1.3.0rc0）、Python API 支持多项目评分（v1.3.0rc20），以及一般错误修复和性能改进。
优化后 beam search 和评分工作负载的成本降低了多少？
对于 Qwen3 1.7B 变体，beam search 工作负载成本降低最高 54%，评分工作负载成本降低最高 7%。
Spotify 未来在推理优化方面有哪些计划？
计划继续与 NVIDIA 合作探索更多优化，特别关注量化和 NVIDIA Blackwell 特定技术，以从最新 GPU 架构中解锁更高性能，同时控制延迟和基础设施成本。
