Bi-MTDP：通过二值网络加速多任务密集预测，又快又提点 | CVPR 2024 - 晓飞的算法工程笔记
💡
原文中文，约8700字，阅读约需21分钟。
📝
内容提要
本文提出了一种二值化多任务密集预测器（Bi-MTDP）来加速多任务密集预测模型，并保持或提高模型性能。通过深度信息瓶颈层和知识蒸馏机制解决二值化带来的性能下降问题。实验结果表明，Bi-MTDP在加速模型和提高性能方面取得了良好效果。
🎯
关键要点
-
提出了一种二值化多任务密集预测器 Bi-MTDP，以加速多任务密集预测模型并提高性能。
-
通过深度信息瓶颈层和知识蒸馏机制解决二值化带来的性能下降问题。
-
Bi-MTDP 结合了二值神经网络（BNNs）以显著加速多任务密集预测模型。
-
二值化可以将存储成本降低 32 倍，推断速度提高 64 倍，适用于边缘设备。
-
二值化在多任务密集预测任务中面临信息流显著降级的问题。
-
引入变分信息瓶颈机制以确保嵌入遵循高斯分布，过滤无关因素。
-
利用知识蒸馏校准二值网络梯度，改善反向传播中的信息流。
-
Bi-MTDP 的成功证明了二值化与多任务密集预测框架的有效结合。
-
多模态蒸馏模块通过注意力机制引导不同任务之间的信息传递。
-
Bi-MTDP 的变体 Bi-MTDP-F 通过引入变分信息瓶颈层进一步提高性能。
-
知识蒸馏损失用于指导信息流的优化方向，缓解量化模型性能下降的问题。
-
Bi-MTDP-C 的性能优于全精度模型，表明二值化可以有效过滤无关信息。
-
通过中心化核对齐（CKA）分析网络内部信息流，验证 Bi-MTDP-C 的信息流补充能力。
➡️
