GenRecs 分词：以稳定模型词表变革 Meta 广告推荐
内容提要
Meta提出GenRecs Tokenization方案，用稳定语义词表替代逐项ID，将广告、商品、页面等编码为离散语义token，使模型能借助LLM世界知识理解内容与用户偏好，并泛化到新实体和长尾广告。该方案结合GEM与自适应排序模型，在广告转化上提升0.35%，并支持跨活动迁移、冷启动和LLM扩展。
延伸解读
语义分词如何解决冷启动与长尾难题
文章指出，GenRecs 分词用稳定语义词表替代逐项 ID，新广告或长尾商品可继承同类已学知识。例如新一季越野跑鞋能复用上一季跑鞋的语义 token，无需从零积累互动数据。这直接缓解冷启动，并让长尾广告获得更准排序。更关键的是，长尾预测改善会反哺训练数据，形成自我强化的飞轮，使全量广告预测受益。
分词器质量可提前评估，不必等完整训练
Meta 测试了八个分词器版本，发现聚类纯度、分布均衡度和码本利用率等内在指标与下游 CTR 预测准确率强相关。这意味着团队可在不跑完整模型训练的情况下迭代分词器，把分词质量当作一等目标。文章还提到，通过多样性损失、死码重置和对比目标优化码本，能带来可测量的下游性能提升，为工程迭代提供了可操作的抓手。
0.35% 转化提升背后的规模化逻辑
文章披露，GenRecs 分词配合 GEM 与自适应排序模型，在广告转化上带来 0.35% 提升（Meta 内部数据，2026 年 2 月测量）。这一数字看似不大，但文章强调其价值在于可随 LLM 扩展曲线复利增长：token 化让模型在序列长度、训练数据和模型架构上弯曲扩展曲线。同时，稳定词表支持跨活动迁移，使广告主历史洞察能延续到新活动，而非每次重置。
落地限制与未来方向
文章坦承，完全 verbalized 分词虽能给模型最丰富视角，但所需上下文窗口在广告规模下不切实际。Meta 正探索将压缩后的 verbalized token 与语义 ID 结合，在保留推理质量的同时控制延迟。此外，分词覆盖范围仍在扩展，跨文本、图像、音频、视频的统一 token 空间尚属远期探索。读者应理解，当前收益来自特定生产环境，并非通用结论。
Q&A
GenRecs Tokenization 是什么？它和传统广告推荐中的 ID 表示有什么区别？
GenRecs Tokenization 是 Meta 提出的一种基础数据表示方案，用来自稳定语义词表的离散 token 表示每个广告、商品、页面等条目，而不是为每个条目维护一个专用 ID。这样模型可以借助 token 的语义关系理解内容，并泛化到新实体和长尾广告。
GenRecs Tokenization 如何帮助新广告或冷启动广告获得更好的推荐效果？
因为 token 描述的是条目“是什么”，模型可以将从未有过互动数据的新条目与已知的相似条目关联起来。例如新上市的“越野跑鞋”可以继承模型对同类产品已学到的知识，而不是从零开始建立表示，从而恢复冷启动性能并支持跨实体迁移。
GenRecs Tokenization 在 Meta 广告系统中实际带来了多少转化提升？
与 Meta 的生成式广告模型（GEM）和自适应排序模型配合使用，GenRecs Tokenization 在广告转化上带来了 +0.35% 的提升（Meta 内部数据，2026 年 2 月测量）。
GenRecs Tokenization 的三阶段处理流程具体包括哪些步骤？
三阶段流程为：1）将每个条目编码到语义嵌入空间；2）将嵌入分解为独立的子空间；3）量化，将每个子空间映射到码本中的一个条目。根据实体和特征语义的不同，各阶段会有不同组合，例如常用前缀 n-gram 结合学习编码器、残差分解、学习向量码本和 token 参数化。
如何评估 tokenizer 的质量？它和下游排序准确率有关系吗？
可以用内在指标评估 tokenizer 质量，包括聚类纯度（共享同一码的条目倾向于同类别）、分布均衡性（条目均匀分布在语义 ID 上而非拥挤在少数码）和码本利用率（更多码至少包含一个条目）。在测试的八个 tokenizer 版本中，这些内在质量指标与下游排序预测准确率（如 CTR 预测）呈强相关。
GenRecs Tokenization 未来有哪些发展方向？
未来主要沿三个方向推进：1）深化冷启动泛化，扩大 tokenization 对所有条目的覆盖；2）将 tokenizer 质量作为一等目标，包括参与度对齐训练、统一跨实体词表和码本改进；3）高效服务 LLM 原生架构，结合紧凑的言语化 token 与语义 ID 以保持推理质量并控制延迟。更长远看，探索用同一词表统一跨表面（文本、图像、音频、视频）的表示。
