本文提出了一种一阶段模态蒸馏框架,通过多任务学习将特权知识传递和模态信息融合统一为一个优化过程,以解决基于不完整模态的推断问题。该框架包括模态转换任务的联合适应网络和模态融合任务的交叉翻译网络。实验证明该框架可以克服各种场景中不完整模态输入的问题,并实现最先进的性能。
完成下面两步后,将自动完成登录并继续当前操作。