将工人视角融入 MTurk NLP 标注实践

通过批判性文献综述和 MTurk 工作者的调查，我们发现当前在亚马逊众包平台中进行自然语言处理数据收集的方法在考虑工作者的角度上存在问题，因此我们提出了关于公平支付、工作者隐私、数据质量和工作者激励等方面的最佳实践，以更好地尊重工作者权益并提高数据质量。

本文调查了45篇与开放式文本生成相关的论文，发现大部分未报告Amazon Mechanical Turk任务的关键细节，影响了可重复性。通过故事评估实验，发现AMT工作者无法区分模型生成的文本和人类生成的参考文本。同时展示模型生成的输出和人类生成的参考文本时，工人的判断能力得到了提高。