One-for-All：上交大提出视觉推理的符号化与逻辑推理分离的新范式 | ECCV 2024 - 晓飞的算法工程笔记
内容提要
本论文研究了视觉推理的两个阶段：符号化和逻辑推理。实验发现，分离的编码器和共享的推理器在跨领域推理中具有更好的泛化能力。论文还探讨了符号化阶段的深度和推理器的架构。实验结果表明，仅共享推理器的性能优于其他设计，并且随着训练数据和任务的增加，推理器在跨领域任务上的表现会更好。最后，论文验证了使用多个领域数据训练推理器可以提高其泛化能力。
延伸解读
两阶段解耦：为何共享推理器更优
论文通过对比四种设计发现，仅共享推理器在跨领域任务中表现最佳，甚至超过完全分离的模型。这表明推理阶段具有更强的泛化能力，而符号化阶段需要针对不同领域定制。因此，将符号化和推理解耦，并共享推理器，能有效提升模型在跨领域视觉推理中的性能。
符号化深度：不同任务需要不同抽象层次
实验表明，符号化阶段的深度对推理性能有显著影响。过浅的网络无法完成符号化，过深则容易过拟合。不同任务所需的符号化深度不同，例如Bongard-HOI比RAVEN需要更深的网络。因此，为每个领域选择合适的编码器深度至关重要，这有助于共享推理器专注于逻辑推理。
推理器架构：轻量MLP为何脱颖而出
在多种架构中，MLP作为共享推理器在多个数据集上表现最佳，甚至优于更复杂的Transformer和神经符号模型。这表明推理阶段可能不需要过于复杂的架构，轻量级MLP足以捕捉逻辑关系。此外，MLP参数少，更易于训练和泛化，适合作为跨领域共享推理器。
泛化能力：多领域训练提升推理器表现
论文验证了“近似原理”：随着训练任务和领域的增加，推理器在跨领域任务上的表现逐步提升。在多个数据集上联合训练后，推理器能专注于任务无关的纯推理，从而增强泛化能力。这表明，要获得通用推理器，需要多样化的训练数据，而非单一领域的大规模数据。
Q&A
这篇论文研究了视觉推理的哪两个阶段？
论文研究了视觉推理的符号化阶段和逻辑推理阶段。
分离的编码器和共享的推理器有什么优势？
分离的编码器和共享的推理器在跨领域推理中具有更好的泛化能力。
推理器的架构选择对性能有什么影响？
推理器的架构选择显著影响推理性能，MLP在多个数据集上表现优异。
如何提高推理器的泛化能力？
使用多个领域数据训练推理器可以提高其泛化能力。
现有视觉推理方法存在哪些缺陷？
现有方法在跨领域推理中容易偏向数据偏差拟合，缺乏泛化能力。
论文提出的框架有什么特点？
论文构建了一个简洁的框架，采用分离的编码器和共享的推理器，表现出色。
