大型语言模型的自动索赔匹配:在打击虚假信息中赋予事实检查员权力
原文中文,约300字,阅读约需1分钟。发表于: 。通过使用 FACT-GPT 框架,我们介绍了一种自动化事实核查的方法,该方法利用大型语言模型 (LLMs) 的主张匹配阶段来识别新的社交媒体内容,无论是支持还是反驳之前被事实核查人员驳斥的主张。研究结果表明,我们的精细调节的 LLMs 在主张匹配任务中与更大型的预训练 LLMs 的性能相媲美,与人工标注结果密切一致。
本文评估了几个主要的大型语言模型在使用黑箱测试区分新闻真伪方面的精通程度,发现它们的平均得分为65.25,其中OpenAI的GPT-4.0表现出优势,得分为71。但与人类事实核查员相比,AI模型在理解新闻信息中的细微差别和上下文方面落后。因此,本研究强调了AI在事实核查领域的潜力,同时也强调了人类认知能力的重要性和AI能力持续发展的必要性。