基于知识的信息误导检测中的高效标注者可靠性评估与样本加权
发表于: 。本研究解决了社交媒体上信息误导快速传播带来的检测困难,提出了通过EffiARA标注框架,利用标注者间和标注者内的一致性来评估标注者的可靠性,从而提升大语言模型的分类训练效果。研究发现,基于标注者可靠性的样本加权方法在使用Llama-3.2-1B和TwHIN-BERT-large进行分类时,性能显著提升,达到了宏F1值0.757和0.740。
本研究解决了社交媒体上信息误导快速传播带来的检测困难,提出了通过EffiARA标注框架,利用标注者间和标注者内的一致性来评估标注者的可靠性,从而提升大语言模型的分类训练效果。研究发现,基于标注者可靠性的样本加权方法在使用Llama-3.2-1B和TwHIN-BERT-large进行分类时,性能显著提升,达到了宏F1值0.757和0.740。