Bi-MTDP：通过二值网络加速多任务密集预测，又快又提点 | CVPR 2024 - 晓飞的算法工程笔记
原文中文，约8700字，阅读约需21分钟。发表于：。论文提出二值化多任务密集预测器 Bi-MTDP，通过二值神经网络（BNNs）显著加速多任务密集预测模型，同时保持甚至提高模型性能。为了避免信息严重退化而导致二值化带来性能下降，论文引入了深度信息瓶颈层，在前向传播时强制要求下游任务表示满足高斯分布；此外，还引入知识蒸馏机制来纠正反向传播中信息流方向
本文提出了一种二值化多任务密集预测器（Bi-MTDP）来加速多任务密集预测模型，并保持或提高模型性能。通过深度信息瓶颈层和知识蒸馏机制解决二值化带来的性能下降问题。实验结果表明，Bi-MTDP在加速模型和提高性能方面取得了良好效果。
