基于提示驱动的动态物体中心学习用于单域泛化
内容提要
本文提出基于短语定位的风格转移方法PGST，仅用单一源域训练即可提升目标检测泛化能力。该方法通过文本提示学习目标域风格，将源域视觉特征转移至目标域并微调模型，在五个天气驾驶基准数据集上达到最先进性能，甚至超过部分引入目标域图像的领域自适应方法。
延伸解读
单域泛化的实际意义
单域泛化目标检测仅使用单一源域数据训练，却能提升模型在未见目标域上的泛化能力。这降低了数据采集和标注成本，尤其适用于目标域数据难以获取的场景，如自动驾驶中的极端天气条件。PGST方法通过文本提示学习目标域风格，无需目标域图像即可实现风格转移，为领域泛化提供了新思路。
PGST方法的核心机制
PGST基于短语定位的风格转移，利用文本提示和已有模型学习目标域风格，将源域视觉特征转移到目标域，并微调模型。这种方法不依赖目标域图像，仅通过文本描述就能模拟目标域风格，从而在训练中引入多样性，提升模型对未知域的适应能力。
性能表现与对比优势
在五个天气驾驶基准数据集上，PGST达到了最先进的性能，甚至超过了一些引入目标域图像的领域自适应方法。这表明仅使用单域数据训练，通过风格转移也能取得与领域自适应相媲美甚至更好的效果，突显了该方法的有效性和潜在应用价值。
潜在限制与未来方向
尽管PGST在天气驾驶数据集上表现优异，但其泛化能力可能受限于文本提示的质量和风格转移的准确性。未来研究可探索更复杂的域偏移场景，以及如何将方法扩展到其他视觉任务。此外，源代码和预训练模型的公开将促进进一步验证和改进。
Q&A
什么是单域泛化目标检测？
单域泛化目标检测是指仅使用来自单一源域的数据训练模型，并使其能够泛化到未见过的目标域的目标检测任务。
PGST方法是如何工作的？
PGST通过定义文本提示并利用已有模型学习目标域的风格，将源域的视觉特征转移到目标域，然后使用这些风格转移的视觉特征对模型进行微调，从而在仅使用单一源域训练的情况下适应未见过的目标域。
PGST在哪些数据集上进行了评估？
PGST在五个不同的天气驾驶基准数据集上进行了评估。
PGST相比领域自适应方法有什么优势？
PGST在五个天气驾驶基准数据集上取得了最先进的性能，甚至超过了一些将目标域图像纳入训练过程的领域自适应方法。
PGST的源代码和预训练模型会公开吗？
是的，源代码和预训练模型将会提供。
PGST方法在什么时间提出？
PGST方法在2024年2月提出。
