面向人类数据标注的通用错误建模:来自工业规模搜索数据标注项目的证据
原文英文,约300词,阅读约需1分钟。发表于: 。Machine learning (ML) and artificial intelligence (AI) systems rely heavily on human-annotated data for training and evaluation. A major challenge in this context is the occurrence of annotation...
机器学习和人工智能系统依赖人工标注数据,但标注错误会影响模型性能。本文介绍了一种预测错误模型,用于检测音乐、视频流媒体和移动应用中的搜索相关性标注错误。模型在不同应用中表现良好(AUC=0.65-0.75),有效提高标注效率和质量。研究表明,该模型在数据标注过程中显著提升效率和质量,提供了有效的错误管理方法。