阿里妈妈搜索广告2024大模型思考与实践

随着大模型时代的到来，阿里妈妈搜索广告通过优化模型结构和算力提升广告效果。

阿里妈妈搜索广告在过去两年中成功清理了一些关键问题，落地多个优化方向。

搜推广模型与大模型的结合蕴藏着巨大的想象空间和价值业务。

模型演进主要沿三条路径演进：推理偏置、硬件算力提升和CV/NLP领域的技术升级。

推理偏置是模型能力提升的核心驱动力，合理设计偏置能够提升模型的泛化能力。

算力的指数级提升为模型规模化提供了支持，但存储与带宽仍是瓶颈。

搜推广模型依赖于高维稀疏的ID特征体系，规模化方向向更宽的方向扩展。

大模型时期的迭代主线是弱化偏置，强化数据驱动，设计高效通用的模型结构。

LLM的出现为搜索推广系统带来了新的应用潜力，推动了技术的重构。

CTR模型经过多次迭代，形成了嵌入建模和用户行为兴趣建模两个提效方向。

多模态表征模型通过视觉兴趣建模提升用户行为建模的效果。

用户行为大模型通过预训练和后训练的迭代范式提升推理能力。

大模型的能力将重构现有的搜索广告系统，提升匹配效率和规模化空间。

改写模块通过生成式改写技术提升搜索广告的相关性和流量价值。

召回模块通过深度挖掘用户兴趣偏好，确保高召回率和个性化需求的满足。

相关性模型通过逻辑推理能力的提升，改善了模型的决策准确性。

未来的关键突破点在于设计高性能推理架构，实现大模型的在线实时应用。