怎样选择提示很重要:利用大型语言模型提升社会科学文本注释
原文中文,约400字,阅读约需1分钟。发表于: 。大型语言模型在社会科学文本标注任务中应用广泛,其性能超过人类工作者且成本更低。然而,我们以往对选择提示对标注准确性的影响尚未进行过研究。在本研究中,我们展示了性能在不同提示之间存在巨大差异,并运用自动提示优化的方法系统地设计出高质量提示。同时,我们还提供了一个简单的基于浏览器实现的方法链接给社区。
最近的研究发现,语言模型在零-shot设置下可以执行社会科学任务的注释。研究人员进行了多提示实验,发现提示设计对模型的遵从和准确性有很大影响。最佳的提示设置取决于任务,微小的提示更改会导致生成标签分布上的巨大变化。这项研究对研究人员和从业者具有警示和实践指南的作用。