基于多模态信息抽取的菜品知识图谱构建
内容提要
本文介绍了CMIngre数据集的构建，旨在提升对中餐食材的理解。该数据集包含8,001张图像，涵盖429种食材和95,290个边界框，支持食材检测和检索任务。研究表明，现有目标检测算法在细粒度食材理解上仍有提升空间，CMIngre为相关领域的发展提供了新的基准和挑战。
延伸解读
数据集的长尾分布与标注挑战
CMIngre数据集包含429种食材，但分布极不均衡：'葱'出现在1961张图像中，占比约24.51%，而有138种食材出现不足10次，如'西柚'仅5张。这种长尾分布意味着模型容易偏向高频食材，对稀有食材的检测性能可能较差。此外，数据集中超过50%的边界框面积比小于0.01，小目标众多，进一步增加了检测难度。读者需注意，该数据集的评估结果可能受此分布影响，实际应用中需关注稀有食材的识别效果。
现有检测模型在食材任务上的局限
实验显示，YOLO v5、Faster R-CNN和DINO在CMIngre上性能一般，表明当前目标检测方法为明确边界目标设计，难以直接检测自由形式的食材。不过，DINO因大规模预训练展现出更强理解能力，微调后在7个公共类别上AP50:95提升18.3%。这提示读者，通用检测模型直接迁移到食材领域效果有限，需针对食材特性进行优化，如融合边界框或利用层级标签。
两阶段检索策略的有效性
跨模态食材检索中，两阶段方法（先检测食材区域，再提取区域特征进行检索）显著优于端到端方法。使用DINO区域特征比Faster R-CNN进一步提升性能。这表明，当前图像编码器难以直接从整图提取细粒度食材特征，而专门训练的检测模型能提供更有利的初始化。读者可借鉴此思路，在类似细粒度跨模态任务中优先考虑两阶段架构。
与Recipe 1M的对比及业务应用
CMIngre上的检索效率约为Recipe 1M的一半，因后者提供食谱细节（配料、标题、说明）丰富了上下文，而CMIngre仅限食材信息，挑战更大。但两阶段方法仍优于对比方法。业务上，美团利用多模态知识图谱将菜品知识准确率提升至96.52%，覆盖率87.01%，商品识别错误率从20.38%降至2.3%，展示了该研究在实际场景中的价值。
Q&A
CMIngre数据集的主要目的是什么？
CMIngre数据集旨在提升对中餐食材的理解，支持食材检测和检索任务。
CMIngre数据集中包含多少种食材和图像？
CMIngre数据集包含429种食材和8,001张图像。
构建CMIngre数据集面临哪些挑战？
构建CMIngre数据集面临食材多样性和标注复杂性等挑战。
现有目标检测算法在CMIngre数据集上的表现如何？
现有目标检测模型在CMIngre数据集上的表现一般，强调了开发更高级细粒度食材理解算法的必要性。
CMIngre数据集与其他食品相关数据集相比有什么优势？
CMIngre数据集在边界框密度和语义丰富性上优于其他现有食品相关数据集。
CMIngre数据集如何促进中餐的理解？
CMIngre数据集为食材检测和跨模态食材检索任务提供了基础，促进了对中餐的深入理解。
