HAPNet:基于混合、非对称和渐进异构特征融合的卓越 RGB - 热场景解析

本研究探讨了一种利用 VFM 特征进行 RGB - 热像场景解析的可行策略,设计了一个混合的非对称编码器,结合了 VFM 和卷积神经网络,通过逐步融合互补的异构特征,并引入辅助任务来改善解析性能,最终实现优于所有其他现有 RGB - 热像场景解析网络的性能。

该研究提出了一种多模态混合损失方法(MMHL),通过混合融合模块在RGB和热感特征融合时考虑了空间和通道信息。通过顺序训练策略,先对RGB图像进行训练,再学习跨模态特征,提高了显著性检测性能。性能评估结果显示,该方法优于现有方法。

原文中文,约200字,阅读约需1分钟。发表于:
阅读原文