无监督学习食谱图
内容提要
本文综述多项食谱计算研究：提出结构感知网络，利用食品图片和配料生成烹饪说明，在Recipe1M上达最优；用无监督方法生成活动任务图与流程文本流程图；基于异构图神经网络融合协作信号进行食谱推荐；将过程文本总结为图形表示；用编码器-解码器结合视觉文本构建烹饪流程，并建立9850道菜谱数据集；构建含中间步骤的食谱语料库；将配方与图像建模为烹饪程序；对齐文本与视频多模态食谱数据，并建立4262道菜品数据集；提出GNN食谱嵌入模型Recipe2Vec，用于风味分类和地区预测。
延伸解读
无监督方法在食谱任务中的优势与边界
文中多项研究采用无监督学习：结构感知网络提取句子级树状结构标签生成食谱，任务图生成方法结合语言模型、聚类和排名，在ProceL和CrossTask上比有监督方法更准确；过程文本总结为图形表示也无需标注。这些案例表明无监督方法能降低标注依赖，并在部分任务上超越有监督基线。但文章未说明这些方法在更大规模或更多菜系上的泛化能力，读者需注意其适用边界。
图神经网络贯穿推荐与嵌入
食谱推荐研究使用异构图神经网络融合协作信号与内容，并通过图对比增强以自监督方式提取信息；Recipe2Vec则基于GNN将视觉、文本和关系信息集成到食谱嵌入中，用于风味分类和地区预测。两项工作都说明图结构能有效组织食谱的多模态与关系信息。不过，文章未给出具体性能数值或与其他嵌入模型的对比细节，实际效果需参考原论文实验。
多模态数据集推动跨模态对齐
文章提到多个数据集：包含9,850道菜谱的视觉文本工作流数据集、4,262道菜品的Microsoft Research Multimodal Aligned Recipe Corpus，以及含中间步骤描述的烹饪食谱语料库。这些资源支持从图像生成烹饪说明、文本与视频对齐等任务。其中编码器-解码器方法比手工特征提取性能提升20%以上。数据集规模有限，跨菜系和真实场景的覆盖程度文章未展开，使用时应留意其代表性。
Q&A
有哪些方法可以用食品图片和配料自动生成烹饪步骤？
一种结构感知生成网络利用食品图片和配料生成烹饪说明，通过无监督学习提取句子级树状结构标签，并与目标食谱树形结构结合，在Recipe1M数据集上达到最优性能。
如何用无监督方法从食谱文本中生成流程图或任务图？
有研究提出无监督任务图生成方法，结合语言模型推理、聚类和排名组件，在ProceL和CrossTask数据集上比有监督方法更准确；另有方法将多个过程文本总结为图形表示，用于探索任务共性和差异。
食谱推荐系统如何利用图神经网络融合协作信号？
一种基于异构图神经网络的推荐方法，通过分层注意力和成分集转换器捕捉食谱内容和协作信号，并使用图对比增强策略以自监督方式提取信息，联合优化推荐和对比学习目标，实验证明优于现有方法。
Recipe2Vec是什么？它有什么用途？
Recipe2Vec是一种基于图神经网络（GNN）的食谱嵌入模型，将视觉、文本和关系信息集成到食谱嵌入中，在风味分类和地区预测两项食品学研究任务中表现出色。
有哪些公开的食谱数据集可以用于多模态研究？
文章提到多个数据集：Recipe1M（用于生成烹饪说明）、包含9,850道菜谱的数据集（用于构建食品制作工作流程）、Microsoft Research Multimodal Aligned Recipe Corpus（包含4,262道菜品，对齐文本和视频食谱）。
如何将食谱文本和视频等多模态数据对齐以提取过程解释？
通过无监督算法和图算法对文本和视频食谱的多模态数据进行对齐，自动提取感性解释以说明现实世界中的复杂过程，并构建了包含4,262道菜品的Microsoft Research Multimodal Aligned Recipe Corpus数据集。
