本文介绍了一种轻量级模型,通过层级交叉模态变压器和模态门控来融合多模态数据。该方法识别主要模态,整合辅助模态,发现跨模态不一致性,并在三个基准数据集上验证了其有效性。模型参数减少到不到100万,但仍表现出竞争力的结果。
完成下面两步后,将自动完成登录并继续当前操作。