SNIFFER: 可解释的跨语境误信息识别的多模态大型语言模型
原文中文，约400字，阅读约需1分钟。发表于：。SNIFFER 是一种特别针对超文本误导检测和解释的新型多模态大型语言模型，通过在 InstructBLIP 上进行两阶段的指令调整，不仅能够检测文字和图像之间的不一致性，还可以利用外部知识进行上下文验证，实验证明 SNIFFER 的检测准确性超过了原始的 MLLM 超过 40%，并且在解释能力方面也优于最先进的方法。
通过融合先进的目标检测和光学字符识别模型，研究改善细粒度图像理解能力。实验结果显示，改进后的多模态大型语言模型在多个视觉任务中表现优异，标志着多模态理解领域的重大进展。希望进一步探索多模态大型语言模型在细粒度多模态对话能力方面的应用。
