AgriCLIP:通过领域专用的跨模型对齐为农业和畜牧业适配CLIP
原文中文,约200字,阅读约需1分钟。发表于: 。本研究解决了普通模型在农业和畜牧业领域的性能不足问题,提出了一种名为AgriCLIP的视觉-语言基础模型。通过构建包含约60万对图文的ALive数据集,并采用对比和自监督学习相结合的训练流程,AgriCLIP在20个下游任务中表现出显著提升,显示了针对特定领域的特征学习能力。
该研究介绍了DODA,一种用于农业的高质量物体检测数据合成器。通过将布局编码为图像,提升了布局到图像的可控性和标签质量。DODA利用视觉编码器为扩散模型提供线索,可在新领域生成数据。在全球小麦头部检测数据集上,DODA合成的数据显著提升了目标检测器的表现,AP$_{50}$提高了12.74-17.76。