本研究探讨了局部-全局注意力模型中的窗口大小选择,提出了RATTENTION变体,利用线性注意力机制捕捉窗口外信息。实验结果表明,RATTENTION在512窗口大小下的性能与全注意力模型相当,同时保持了训练效率,适用于短上下文场景。
本研究提出了一种新型局部-全局注意力机制,解决了对象检测中局部与全局特征平衡不足的问题。该机制结合多尺度卷积与位置编码,动态调整局部与全局注意力的重要性,显著提升了不同尺度对象的检测能力,尤其在多类和小物体检测中表现优异。
完成下面两步后,将自动完成登录并继续当前操作。