本研究提出了一种高效的方法，通过Best-Worst Scaling逐步收集注释，生成强鲁棒性的众包数据。研究发现直接评估方法可以在成本高效和与大规模BWS注释策略的相关性之间找到平衡，并展示了这些注释支持强鲁棒的排序学习模型的潜力。