RED-DOT: 多模态事实核查与相关证据检测
原文约600字/词，阅读约需2分钟。发表于：。在线虚假信息多模态性质常常由文字和搭配的图像之间的误导性关联引起。为了支持事实核查过程，研究人员最近一直在开发能够收集和分析外部信息的自动多模态方法，即与正在研究的图像 - 文字对相关的证据。然而，之前的研究假设收集的所有证据都是相关的。本研究引入了一个 “相关证据检测”（RED）模块，用于判断每个证据是否相关，以支持或反驳主张。具体地，我们开发了...
研究人员开发了RED-DOT，一种自动多模态方法，用于判断证据的相关性，以支持或反驳虚假信息。实验证明，RED-DOT在VERITE基准测试中相对于最先进的方法改进了28.5%。此外，RED-DOT在NewsCLIPings+上通过证据重新排序和基于元素的模态融合达到了有竞争力的性能。研究人员还发现“引导注意力”模块有提高架构可解释性的潜力。
