本文介绍了一种轻量级模型,通过层级交叉模态变压器和模态门控来融合多模态数据。该方法识别主要模态,整合辅助模态,发现跨模态不一致性,并在三个基准数据集上验证了其有效性。模型参数减少到不到100万,但仍表现出竞争力的结果。
本文提出了一种轻量级模型解决多模态数据融合问题的方法,通过层级交叉模态变压器与模态门控实现。在三个基准数据集上验证了该方法的有效性,模型参数数量不到100万个,表现出具有竞争力的结果。
完成下面两步后,将自动完成登录并继续当前操作。