亚马逊AWS官方博客
·
多模态大模型应用实践（二）- 基于 ViT 和 Pairwise 的智能酒店首图选择
内容提要
本文介绍了如何利用Amazon SageMaker构建学习排序模型，以智能选择酒店首图。通过对比学习，模型有效排序图片，提升用户体验和转化率。训练数据包括有效首图和非首图，最终实现高准确率和低成本推理，未来将继续优化模型和推荐策略。
关键要点
-
酒店预订平台中，首图选择对转化率至关重要，人工筛选效率低下。
-
利用Amazon SageMaker构建Learning to Rank模型，实现智能化酒店首图选择。
-
模型通过对比学习，从历史数据中选择得分最高的图片作为首图。
-
模型架构包括文本编码器、图像编码器、投影层和评分机制。
-
训练数据包括有效首图和非首图，建议有效首图大于300张。
-
模型训练使用GPU，支持分布式训练，训练代码基于accelerate开发。
-
模型评估显示，Learning to Rank模型的准确率显著高于传统分类模型。
-
模型部署使用Amazon SageMaker，创建推理端点以进行实时推理。
-
推理成本低，每千张图片的推理成本约为$0.04。
-
未来将继续优化模型，包括数据增强、模型结构优化和个性化推荐。
延伸解读
智能化首图选择的意义
在酒店预订平台中，首图的选择直接影响用户的购买决策。通过引入智能化的学习排序模型，平台能够快速高效地筛选出最具吸引力的首图，从而提升用户体验和转化率。这种方法不仅提高了运营效率，还能在大规模酒店上架时保持一致性，减少人工干预的需求。
模型架构的创新
本文采用的对比学习模型架构，结合了文本和图像编码器，能够有效地处理多模态数据。这种灵活的比较方式使得模型在选择首图时，不再依赖绝对评分，而是学习相对排序，增强了模型的鲁棒性和适应性。这一创新为其他领域的多模态应用提供了借鉴。
推理成本的优势
使用Amazon SageMaker进行模型推理的成本相对较低，每千张图片的推理费用约为0.04美元。这一成本优势使得智能化首图选择在商业应用中更具可行性，尤其是在需要处理大量图片的场景中，能够有效降低运营成本，提升投资回报率。
延伸问答
如何利用Amazon SageMaker构建酒店首图选择模型？
通过构建Learning to Rank模型，利用对比学习从历史数据中选择得分最高的图片作为首图。
酒店首图选择对转化率有什么影响？
首图选择对提高转化率至关重要，能够提升用户体验和浏览效率。
模型训练使用了哪些技术和工具？
模型训练使用了GPU支持的分布式训练，基于accelerate开发的训练代码。
推理成本大约是多少？
每千张图片的推理成本约为$0.04。
模型评估的准确率如何？
Learning to Rank模型的准确率显著高于传统分类模型，达到0.96。
未来对模型的优化方向有哪些？
未来将进行数据增强、模型结构优化、动态更新和个性化推荐等优化。
