美团技术团队
·
基于多模态信息抽取的菜品知识图谱构建
💡
原文中文，约9100字，阅读约需22分钟。
📝
内容提要
本文介绍了CMIngre数据集的构建，旨在提升对中餐食材的理解。该数据集包含8,001张图像，涵盖429种食材和95,290个边界框，支持食材检测和检索任务。研究表明，现有目标检测算法在细粒度食材理解上仍有提升空间，CMIngre为相关领域的发展提供了新的基准和挑战。
🎯
关键要点
- CMIngre数据集旨在提升对中餐食材的理解，包含8,001张图像，涵盖429种食材和95,290个边界框。
- 现有目标检测算法在细粒度食材理解上仍有提升空间，CMIngre为相关领域的发展提供了新的基准和挑战。
- 构建CMIngre数据集面临食材多样性和标注复杂性等挑战，最终数据集包含来自菜肴、食谱和用户生成内容的图像。
- 数据集的统计分析显示，部分食材在数据集中出现频率较高，而有些食材则较少，反映了数据的长尾分布特征。
- CMIngre数据集的构建为食材检测和跨模态食材检索任务提供了基础，促进了对中餐的深入理解。
- 实验结果表明，现有目标检测模型在CMIngre数据集上的表现一般，强调了开发更高级细粒度食材理解算法的必要性。
- 通过对比分析，CMIngre数据集在边界框密度和语义丰富性上优于其他现有食品相关数据集，提出了更大的挑战。
❓
延伸问答
CMIngre数据集的主要目的是什么？
CMIngre数据集旨在提升对中餐食材的理解，支持食材检测和检索任务。
CMIngre数据集中包含多少种食材和图像？
CMIngre数据集包含429种食材和8,001张图像。
构建CMIngre数据集面临哪些挑战？
构建CMIngre数据集面临食材多样性和标注复杂性等挑战。
现有目标检测算法在CMIngre数据集上的表现如何？
现有目标检测模型在CMIngre数据集上的表现一般，强调了开发更高级细粒度食材理解算法的必要性。
CMIngre数据集与其他食品相关数据集相比有什么优势？
CMIngre数据集在边界框密度和语义丰富性上优于其他现有食品相关数据集。
CMIngre数据集如何促进中餐的理解？
CMIngre数据集为食材检测和跨模态食材检索任务提供了基础，促进了对中餐的深入理解。
🏷️
标签
➡️
