利用 LMM 激发的情感嵌入进行干扰图像检测
原文中文,约300字,阅读约需1分钟。发表于: 。本研究通过利用大型多模型模型中编码的知识,提出了一种新的方法来解决干扰图像检测的任务。该方法通过提取通用语义描述和引发的情感来利用多模型模型中的知识,并利用 CLIP 的文本编码器获取文本嵌入。最后,将这些文本嵌入与相应的 CLIP 图像嵌入一起用于进行干扰图像检测任务,从而显著提高了基准分类准确度,达到了该领域的最新性能。
本研究提出了一种新的方法来解决干扰图像检测的任务,通过利用大型多模型模型中编码的知识,提取通用语义描述和引发的情感,并利用 CLIP 的文本编码器获取文本嵌入。最终,将这些文本嵌入与相应的 CLIP 图像嵌入一起用于干扰图像检测任务,提高了分类准确度。