ByteByteGo Newsletter
·
Snapchat如何每秒处理十亿次预测
内容提要
Snapchat的Bento平台每秒处理超过十亿次预测，支持4.74亿日活跃用户。系统在100毫秒内从数百万视频中筛选内容，利用机器学习优化广告、推荐和AR效果。Bento分为训练和服务两部分，采用分层代码结构和特征存储，确保高效处理和实时反馈。
关键要点
-
Snapchat的Bento平台每秒处理超过十亿次预测，支持4.74亿日活跃用户。
-
系统在100毫秒内从数百万视频中筛选内容，利用机器学习优化广告、推荐和AR效果。
-
Bento分为训练和服务两部分，采用分层代码结构和特征存储，确保高效处理和实时反馈。
-
Bento的设计应对四种压力：延迟压力、规模压力、新鲜度压力和迭代压力。
-
训练部分通过四阶段工作流生成模型，允许工程师每天进行数百次实验。
-
服务部分解决特征在离线和在线存储中的双重存在问题，以及高并发请求的处理。
-
Bento的反馈循环将每次预测转化为下一个训练数据，确保模型持续更新和优化。
延伸解读
Bento平台的设计挑战
Snapchat的Bento平台面临四种主要压力：延迟、规模、新鲜度和迭代。延迟压力要求系统快速响应，用户若等待过久可能会流失；规模压力则源于每日数亿用户的高并发请求；新鲜度压力要求系统实时反应用户行为；而迭代压力则促使工程师频繁实验以保持模型竞争力。这些压力相互影响，设计时需权衡各方面需求。
特征存储的重要性
Bento平台的特征存储在离线和在线环境中扮演关键角色。特征必须在两者之间保持一致，以避免训练和服务偏差（train and serve skew）。Snapchat使用Robusta平台来同步特征，处理每日10万亿事件，确保模型训练和在线服务的数据一致性。这种设计对于维护模型性能至关重要。
反馈循环的作用
Bento的反馈循环将每次预测结果转化为新的训练数据，确保模型持续更新和优化。用户的行为反馈（如观看视频或点击广告）被记录并用于改进模型。这种持续的学习机制使得Snapchat能够快速适应用户需求变化，提升用户体验和广告效果。
延伸问答
Snapchat的Bento平台如何处理每秒超过十亿次的预测？
Bento平台通过分层代码结构和特征存储，分为训练和服务两部分，利用机器学习在100毫秒内从数百万视频中筛选内容，确保高效处理和实时反馈。
Bento平台面临哪些主要压力？
Bento平台面临延迟压力、规模压力、新鲜度压力和迭代压力，这些压力影响系统的设计和性能。
Bento的训练部分是如何运作的？
Bento的训练部分采用四阶段工作流生成模型，允许工程师每天进行数百次实验，并使用Kubeflow进行管理。
Bento平台如何确保模型的实时更新和优化？
Bento通过反馈循环将每次预测转化为下一个训练数据，确保模型持续更新和优化。
Bento平台的服务部分解决了哪些问题？
服务部分解决了特征在离线和在线存储中的双重存在问题，以及高并发请求的处理。
Snapchat的Bento平台如何处理高并发请求？
Bento通过特征存储的优化和高效的模型评分机制，确保在高并发情况下快速响应用户请求。
