揭露宣传：通过比较人类标注和机器分类的文体线索进行分析
内容提要
该文汇总多篇宣传与虚假新闻检测研究，涵盖利用大语言模型辅助标注以提升一致性、SemEval宣传技巧检测任务、高质量标注数据集HQP与PropaNews的构建、偏颇与虚假新闻风格关联分析、多粒度神经网络及可解释特征方法，以及多语言虚假信息网站数据集的发布，旨在推动检测工具训练。
延伸解读
高质量标注对宣传检测的关键作用
文章指出，现有在线宣传检测数据集常存在标签噪声大甚至错误的问题，而通过人工注释构建的HQP数据集显著提升了先进语言模型的检测效果。这突显了在敏感NLP任务中，高质量标注虽然成本较高，但对模型性能至关重要，为研究者在标注质量与成本之间的权衡提供了参考。
偏颇新闻与虚假新闻的风格关联
基于BuzzFeed事实核查的1627篇文章分析发现，299条虚假新闻中97%来自偏颇出版社，且左翼和右翼新闻风格有更多共同之处。研究表明，通过写作风格可以有效区分偏颇新闻与主流新闻，并可作为虚假新闻检测的初步筛选手段，为检测工具提供了风格分析的新视角。
多语言虚假信息数据集的开放价值
文章介绍了对rrn.world和WarOnFakes两个国家支持背景网站的分析，发布了包含14,053篇多语言文章的新数据集，每篇标注了语言版本和元数据。该数据集使研究者能够研究虚假信息网络，并训练检测工具，对NLP社区在跨语言虚假信息检测方面具有重要贡献。
Q&A
如何利用大语言模型提升宣传文本标注的一致性？
使用大型语言模型（如GPT-4）作为标注员，通过提供更多信息来改善注释一致性和性能，从而进行检测宣传性文本片段的研究。
SemEval-2019任务4中超级党派新闻检测系统的性能如何？
该系统在手动注释的测试数据上实现了72.9%的准确率，在带有远程监督标注的测试数据上实现了60.8%的准确率。
PropaNews数据集对虚假新闻检测有什么帮助？
使用PropaNews训练的检测器比使用现有方法生成的数据训练的检测器在检测人类撰写的虚假信息方面的准确性提高了7.3％至12.0％。
高质量标注数据集HQP解决了宣传检测中的什么问题？
HQP通过人工注释解决了现有在线宣传检测数据集标签噪声大甚至不正确的问题，应用后显著提高了state-of-the-art语言模型的检测效果，并探讨了基于高质量标注的few-shot learning方法。
偏颇新闻和虚假新闻之间有什么联系？
通过写作风格分析，研究发现极端偏颇新闻和虚假新闻存在连接：在1627篇文章的语料库中，299条虚假新闻有97%来自于偏颇出版社。
如何检测文本中的宣传技巧及其类型？
本文提出了一个新任务：检测文本中包含宣传技巧及其类型的所有片段，手动标注了18种宣传技巧的新闻文章片段集，并设计了一个多粒度神经网络，表现优于几个强的BERT-based基线。
有哪些可解释性特征可以用于检测欺骗技术？
研究定义了定性描述性特征，并分析了它们检测欺骗技术的适用性，表明这些可解释性特征可以与预训练语言模型轻松结合，产生最先进的结果。
SemEval 2020 Task-11的目标是什么？
SemEval 2020 Task-11旨在设计新闻宣传检测的自动化系统，包含两个子任务：利用上下文嵌入和BERT与逻辑回归分类器的集成以及语言特征来分别识别宣传技巧和分类宣传声明。
多语言虚假信息网站数据集包含哪些内容？
该数据集包含14,053篇文章，来自两个国家支持背景的网站Reliable Recent News (rrn.world)和WarOnFakes (waronfakes.com)，使用阿拉伯语、中文、英语、法语、德语和西班牙语发布，每篇文章标注了语言版本和其他元数据如链接和图片。
