Bi-MTDP：通过二值网络加速多任务密集预测，又快又提点 | CVPR 2024 - 晓飞的算法工程笔记
内容提要
本文提出了一种二值化多任务密集预测器（Bi-MTDP）来加速多任务密集预测模型，并保持或提高模型性能。通过深度信息瓶颈层和知识蒸馏机制解决二值化带来的性能下降问题。实验结果表明，Bi-MTDP在加速模型和提高性能方面取得了良好效果。
延伸解读
二值化加速的潜力与挑战
二值神经网络通过将权重和激活量化为±1，理论上可降低32倍存储成本并提升64倍推断速度，使其非常适合边缘设备。然而，在复杂的多任务密集预测模型中，二值化会导致严重的信息流退化，因为sign函数的梯度不可微，反向传播时信息损失大，直接应用二值化往往导致性能不可接受。
信息流补充机制的设计
Bi-MTDP通过两个方向补充信息流：前向传播中引入变分信息瓶颈层，强制特征服从高斯分布以过滤无关因素；反向传播中利用全精度教师模型进行基于特征的知识蒸馏，校准二值网络的梯度方向。这两种机制共同缓解了二值化带来的信息退化问题。
反直觉的性能提升
实验发现，仅对多模态蒸馏模块进行二值化的Bi-MTDP-C，其性能甚至超过全精度模型，分割mIoU提升约4%，同时加速约39%。这表明二值化并非简单的精度与速度权衡，而是能过滤任务无关信息、增强网络内部信息流，从而提升多任务密集预测器的整体表现。
分析验证与实用意义
通过t-SNE和Grad-CAM可视化，二值化模型能学习到更具区分性的特征；CKA分析进一步显示，Bi-MTDP-C前后层相似度更高，说明其补充了网络内部信息流。这些分析验证了二值化在多任务密集预测中的有效性，为在资源受限设备上部署复杂模型提供了新思路。
Q&A
Bi-MTDP 是什么？
Bi-MTDP 是一种二值化多任务密集预测器，旨在加速多任务密集预测模型并提高其性能。
Bi-MTDP 如何解决二值化带来的性能下降问题？
Bi-MTDP 通过引入深度信息瓶颈层和知识蒸馏机制来解决二值化导致的信息流退化问题。
二值化对多任务密集预测模型的优势是什么？
二值化可以将存储成本降低 32 倍，推断速度提高 64 倍，使得模型更适合在边缘设备上运行。
Bi-MTDP 的实验结果如何？
实验结果表明，Bi-MTDP 在加速模型和提高性能方面取得了良好效果，甚至在某些情况下优于全精度模型。
知识蒸馏在 Bi-MTDP 中的作用是什么？
知识蒸馏用于校准二值网络梯度，改善反向传播中的信息流，从而提高模型性能。
变分信息瓶颈机制在 Bi-MTDP 中的作用是什么？
变分信息瓶颈机制确保嵌入遵循高斯分布，过滤无关因素，从而提高信息流的质量。
