机器学习中的信任和安全挑战：一项关于虚假信息检测的案例研究

机器学习在信任与安全问题中的应用存在研究和实践之间的脱节，以误信息检测为案例研究，我们系统化了 270 篇领域内有广泛引用的文献，并对其中的数据和代码可用性、设计失误、可重现性和普适性进行了检查。我们发现文献中存在显著的不足之处，对所声称的性能和实用性提出了质疑。检测任务往往与在线服务面临的挑战有实质性区别。数据集和模型评估往往不代表现实世界环境，评估通常也与模型训练不独立。数据和代码的可用性较差，模型在领域外的数据上泛化效果不佳。基于这些结果，我们提出了评估解决信任与安全问题的机器学习应用的建议，希望未来的研究能避免我们所识别的问题。