通过多模态融合和面向目标的辅助任务推动电子商务搜索的重新排名

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

CommerceMM是一种多模态模型,能够理解商业主题并应用于多种任务,如分类、检索等。它使用预训练和Omni-Retrieval方法,在商业相关任务中取得了最先进的性能。

🎯

关键要点

  • CommerceMM是一种多模态模型,具备理解商业主题的能力。
  • 该模型能够应用于多种任务,包括多模态分类和检索。
  • 使用预训练方式,在图像-文本对上完成了5个有效的预训练任务。
  • 提出了Omni-Retrieval方法,用于9个新的跨模态和跨配对检索任务。
  • 经过细调后,该模型在7个与商业相关的下游任务中实现了最先进的性能。
➡️

继续阅读