引入基于上下文的预测模型，通过用户和环境特征预测行为概率，不考虑物品特征。这种方法在点击率估计中表现优异，显著提升了业务指标，对服务成本影响小，为大规模推荐系统提供了简单可扩展的方案。

本文介绍了一种简单有效的单语言预训练任务，通过对比上下文预测来学习句子表示，实现了在多语言检索任务中的最佳结果。