上下文感知的多模型对象检测用于异构计算系统
内容提要
该文汇总多篇目标检测研究，涵盖多模态背景知识蒸馏提升开放词汇检测、浅层网络部署与知识迁移降低能耗78%和时延71%、结合局部外观、对象关系与全局场景的CRF系统优于Faster R-CNN、对抗上下文模型实现无监督光流学习、异构嵌入式系统达18FPS和6.9W、增量学习应对印度驾驶域偏移、动态记忆网络提升事件检测、CSSD增强小目标检测、MQTT轻量框架评估性能，以及信息论方法转换ODD检测器。
延伸解读
多模态蒸馏提升开放词汇检测
文章提到一种多模态背景知识蒸馏框架，通过从多模态融合转换器中学习上下文知识并应用于学生检测器，从而提升开放词汇目标检测性能。这为开放词汇检测提供了一种思路：利用多模态信息中的背景知识来增强模型对未见类别的识别能力。
浅层网络与知识迁移的能效优势
在用户端设备部署浅层神经网络进行目标检测，并采用知识迁移机制在目标域变化时更新模型，实验表明相比运行深度模型，能耗和推断时间分别降低78%和71%。这为资源受限场景下的持续学习提供了可行方案。
上下文信息融合的检测系统
一种集合局部外观特征、对象关系上下文和全局场景上下文的检测系统，采用基于对象建议的全连接条件随机场建模，并在PASCAL VOC 2007上取得比Faster R-CNN更高的mAP。这表明综合利用多层级上下文能有效提升检测精度。
异构嵌入式系统的实时性能
面向异构嵌入式设备的高效检测系统，结合量化网络和专用加速器，采用分组数据流策略映射卷积操作，在512x512监控视频上达到18 FPS和6.9W功耗，PASCAL VOC 2012 mAP为66.4。这展示了在嵌入式平台上实现实时检测的可行性。
Q&A
多模态背景知识蒸馏在开放词汇目标检测中有什么作用？
该研究提出了一种多模态背景知识蒸馏框架，通过从多模态融合转换器中学习上下文知识并应用于学生检测器，显著提升了开放词汇目标检测的性能。
如何在用户端设备上部署浅层神经网络以降低能耗和延迟？
论文提出一种系统级设计，将浅层神经网络部署在用户端设备上检测对象，并实施知识迁移机制，在目标域变化时用DNN知识更新SHNN模型。实验表明，与运行深度模型相比，能耗和推断时间分别降低78%和71%。
有哪些方法可以结合局部外观、对象关系和全局场景上下文来提升物体检测？
本文提出了一种综合局部外观特征、对象关系上下文和全局场景上下文特征的集合物体检测系统，采用基于对象建议的完全连接条件随机场（CRF）建模，并利用快速平均场近似进行推理。在PASCAL VOC 2007数据集上，其平均精度（mAP）高于基线Faster R-CNN。
无监督光流学习如何利用对抗上下文模型？
论文提出一种基于对抗上下文模型的无监督学习方法，使用深度神经网络预测图像区域光流时利用其他区域的上下文信息，通过优化上下文信息使变量自然竞争，无需显式正则化或超参数调整。该方法无需监督即胜过多种预训练于大型标注数据集的方法，可视为经典区域分割的广义推广。
面向异构嵌入式设备的高效物体检测系统性能如何？
该系统包括量化网络和专门加速器，采用分组数据流策略将卷积操作映射到加速器。在512x512输入的实际监控视频中，推理速度达18 FPS，功耗仅6.9W，在PASCAL VOC 2012数据集上mAP为66.4。
增量学习如何应对印度驾驶场景中的域偏移问题？
论文研究了基于印度驾驶数据集（IDD）的物体检测增量学习问题，提出采用多个领域特定分类器和有效的迁移学习方法来避免灾难性遗忘，并在IDD和BDD100K数据集上评估。结果表明，在环境领域移位的情况下，该领域适应性方法是有效的。
