跨层特征金字塔变换器用于航空图像中的小物体检测
内容提要
本文介绍了一种名为特征金字塔变换器（FPT）的新方法，能够有效捕捉不同尺度物体的上下文特征。FPT在实例级和像素级分割任务中表现优异，超越了现有方法。此外，文中提到的多种基于特征金字塔的网络架构，如FPN和CD-CTFM，在目标检测和图像分割中也取得了显著性能提升。
延伸解读
FPT的核心思路与优势
FPT通过将特征金字塔转换为具有更多上下文信息的相同大小金字塔，有效捕捉不同尺度物体的非局部上下文特征。这种转换不改变金字塔尺寸，但增强了特征交互，使模型在实例级和像素级分割任务中，使用不同骨干网络和头部网络时，均能持续超越基线和现有最先进方法。
特征金字塔网络的演进与影响
从FPN到CFPFormer、RCNet、FSPNet等，特征金字塔网络不断演进。FPN利用深度卷积网络的多尺度特征，在COCO检测基准上取得最先进单模型结果，并能以5 FPS运行。后续工作如RCNet通过多尺度特征融合显著提高RetinaNet等检测器精度，CFPFormer则集成特征金字塔和变压器，增强特征提取能力。
轻量化与移动端应用
针对计算资源有限的场景，CD-CTFM作为轻量级CNN-Transformer网络，在遥感图像云层检测中精度与最新方法相当且效率优异。SiamTPN结合CNN和Transformer优势，为移动平台构建稳健外观模型，在LaSOT数据集上AUC达58.1%，高速操作下取得竞争性结果。
小物体检测与任务解耦
CFPFormer在检测小物体方面表现出色，适用于医学图像分割和物体检测基准。CTDNet通过Cross-direction Feature Pyramid实现横向和纵向特征融合，并利用Multi-frequency Task Decoupling Head解决分类和定位任务，在四个LOGO数据集上验证了有效性和效率。
Q&A
特征金字塔变换器（FPT）有什么优势？
FPT能够有效捕捉不同尺度物体的非局部上下文特征，并在实例级和像素级分割任务中表现优异，超越现有方法。
CFPFormer是什么，它的功能是什么？
CFPFormer是一种新的解码器块，集成了特征金字塔和变压器，增强了特征提取能力，促进了各种任务的泛化。
FPN在目标检测中表现如何？
基于深度卷积网络的FPN在目标检测上取得了显著改进，尤其是在COCO检测基准测试中表现优异。
CD-CTFM网络的特点是什么？
CD-CTFM是一种轻量级CNN-Transformer网络，能够高效检测遥感图像中的云层，精度与现有方法相当，效率表现优异。
RCNet架构如何提高检测精度？
RCNet通过多尺度特征融合显著提高了检测器的精度，特别是在MS COCO测试集中表现突出。
Siamese Transformer Pyramid Network适合什么应用？
SiamTPN结合了CNN和Transformer的优势，适用于移动平台的目标检测，能够在高速操作中取得竞争性结果。
