C2C：零次合成行动识别的组件到合成学习
内容提要
本文探讨了基于因果思想的复合泛化方法，提出了多种机器学习模型，以提升零样本推理和动作识别的效果。研究涵盖因果启发的嵌入模型、组合行为识别任务、无监督动作识别方法及组合图嵌入技术，均在多个数据集上表现优异，展示了在复杂情况下的有效性和广泛应用前景。
延伸解读
因果视角下的零样本推理
文章将零样本推理视为查找“哪种干预导致了图像？”，并据此提出因果启发的嵌入模型。该模型从混淆训练数据中学习可视对象基本部分的分解表示，用于预测属性-对象对的新组合。这种因果思想为组合泛化提供了新思路，但实际效果依赖于分解表示的质量，且评估仅限两个数据集，泛化能力需进一步验证。
组合零样本学习的技术路线
文章介绍了多种组合零样本学习方法，包括Composition Transformer（CoT）、Compositional Graph Embedding（CGE）和条件属性嵌入框架。CoT通过自下而上和自上而下的注意力解决上下文与长尾分布问题；CGE避免外部知识库依赖；条件属性嵌入则针对属性建模。这些方法在MIT-States、C-GQA等基准上达到先进性能，但各自适用场景不同，需根据数据特点选择。
无监督动作识别的进展
文章提到基于物体和场景组成误差的无监督零样本动作识别方法，无需已训练视频集，以及Siamese对比嵌入网络（SCEN）和状态转移模块（STM）在无监督任务中的优异表现。这些方法降低了数据标注依赖，在三个基准数据集上大幅优于现有方法。然而，无监督设定下模型对复杂交互的捕捉能力仍有限，实际部署需考虑计算成本和场景多样性。
组合动作识别的交互建模
文章强调显式建模人体-物体交互对组合动作识别的重要性。通过时空交互编码器捕捉交互作用并与视频信息结合，在多个数据集上获得先进性能。此外，基于结构化关注融合自注意机制的框架在Something-Something-V2上表现突出。这些工作表明，对交互行为的建模能提升识别效果，但模型复杂度较高，可能影响实时性。
Q&A
什么是零样本推理？
零样本推理是指在没有训练样本的情况下，通过查找干预与图像之间的关系来进行推理。
因果启发的嵌入模型有什么优势？
因果启发的嵌入模型能够从混淆训练数据中学习可视对象的基本部分的分解表示，从而提升属性预测的效果。
Composition Transformer（CoT）框架的作用是什么？
CoT框架解决组合式零样本学习中的上下文问题和数据分布问题，提升视觉辨识能力。
无监督零样本动作识别方法的特点是什么？
该方法不依赖已训练的视频集，基于物体和场景组成误差显著提高动作识别效果。
Compositional Graph Embedding（CGE）方法的优势是什么？
CGE方法能够实现组合视觉对象的识别，避免外部知识库的依赖，性能优于其他方法。
Siamese对比嵌入网络（SCEN）在学习任务中表现如何？
SCEN在复杂无监督学习任务中表现优异，实验结果显示其在多个基准数据集上大幅优于现有方法。
