本研究探讨了视觉变换器（ViTs）在对齐分析中使用单一标量值的局限性，并结合对齐分析与概念发现，细化特征空间中的概念。结果表明，增加监督训练可以降低语义结构的关联性。

本研究发现图神经网络中节点的注意力机制对分类性能有微弱或有害影响，但在某些条件下可以提高分类性能达到60%以上。为了实现这些条件，需要在初始化或监督训练注意力方面下功夫，并提出了一种弱监督训练注意力的方法，效果与有监督学习基本一致。