大规模网页图像 - 文本数据集用于视觉概念理解
内容提要
该文介绍多个大规模视觉数据集：亚马逊购物查询数据集含130万查询，用于搜索排序与产品分类；RSICap提供2585条遥感图像人工字幕及评测集RSIEval；LAION-5B含58.5亿图像-文本对，支撑CLIP等模型；eProduct含250万产品图，助力细粒度识别；另有电商SKU数据集、LSUN及eBay视觉搜索冠军模型等。
延伸解读
数据集用途分化明显
文中列举的数据集并非通用资源，而是针对不同任务设计：亚马逊购物查询数据集聚焦搜索排序与产品分类；RSICap专为遥感视觉语言模型提供高质量人工字幕；eProduct和SKU数据集服务于细粒度产品识别。读者选择数据集时，应先明确任务类型，而非盲目追求规模。
遥感领域的数据瓶颈与补足
文章指出遥感领域缺乏对齐且大规模图像-文本数据集，现有研究多集中于视觉识别。RSICap以2,585条人工注释字幕补足这一缺口，并提供RSIEval评测集。这说明在专业领域，高质量人工标注比单纯扩大数据量更关键，但规模仍远小于通用数据集。
大规模预训练数据的开放价值
LAION-5B包含58.5亿图像-文本对，CLIP、GLIDE和Stable Diffusion等模型曾用其复现或微调。文章强调该数据集开放将推动多模态研究，但也暗示其成功依赖于后续模型设计与训练策略，数据本身并非唯一决定因素。
电商视觉搜索的工程启示
eBay视觉搜索冠军模型结合视觉与视觉语言模型，采用20个模型集成、两阶段训练及文本描述监督微调，最终MAR@10达0.7623。这显示在细粒度商品识别中，多模型融合与文本辅助监督是提升性能的有效路径，但文章未说明其计算成本与泛化能力。
Q&A
亚马逊购物查询数据集包含多少查询，主要用于哪些任务？
该数据集包含约130万个搜索查询，主要用于三个评价任务：排序搜索结果列表、将产品结果分类成相关类别、为给定查询寻找替代产品。
RSICap数据集有什么特点，它和RSIEval是什么关系？
RSICap是一个高质量的遥感图像字幕数据集，包含2,585个人工注释的字幕，每个图像提供详细的场景描述和对象信息。RSIEval是基于RSICap的基准评估数据集，包含人工注释的字幕和视觉问答对，用于全面评估遥感领域的视觉语言模型。
LAION-5B数据集规模多大，有哪些知名模型使用了它？
LAION-5B包含58.5亿组图像-文本对，CLIP、GLIDE和Stable Diffusion等基础模型曾使用该数据集进行复现和微调。
eProduct数据集包含多少图片，主要解决什么问题？
eProduct数据集包含250万个产品图片，主要作为训练集和评估集来加速自监督学习、弱监督学习和多模态学习等领域的发展，特别是针对细粒度识别问题，如视觉搜索。
在eBay产品视觉搜索挑战中获胜的模型采用了什么方法，成绩如何？
该模型将视觉模型和视觉语言模型相结合，运用20个模型的结合方式，在对coarse labels进行两阶段训练的基础上进行精细化的自我监督训练，并使用文本描述训练图像作为监督信号对图像编码器进行微调，最终达到0.7623 MAR@10的成绩。
SKU级别的产品识别数据集包含多少图像，有什么用途？
该数据集包含10,000个人工标注的细粒度SKU级别产品图像，用于自动识别高准确度的SKU级别产品，并针对细粒度产品识别提出了多种有用的技巧。
