怎样选择提示很重要：利用大型语言模型提升社会科学文本注释
原文中文，约1800字，阅读约需5分钟。
📝
内容提要
本文研究了大型语言模型（LLMs）在社会科学任务中的注释能力，强调提示设计对模型的遵从性和准确性的重要性。通过多提示实验，发现提示的细微变化显著影响生成结果，开放模型在数据隐私和再现性方面表现更佳。研究建议使用多样化的提示以优化模型表现并减少社会偏见。
🔎
延伸解读
提示设计：模型表现的关键变量
文章通过大规模实验发现，提示的细微变化会导致生成标签分布的巨大变化，且最佳提示设置因任务而异。这意味着在实际应用中，不能依赖单一固定提示，而应针对具体任务进行提示优化和验证。同时，使用数值得分而非标签会降低所有模型的遵从性和准确性，提示设计需避免此类陷阱。
开放模型：隐私与再现性的优势
研究指出，开放模型在数据隐私和再现性方面优于专有模型，因为专有模型存在限制再现性和隐私问题。对于社会科学研究，尤其是涉及敏感数据时，采用可在独立设备上运行的开放模型（如Falcon7b）能更好地保护数据隐私，并确保研究结果可被独立验证。
提示敏感性与社会偏见风险
大型语言模型对提示变化高度敏感，可能导致任务表现和社会偏见的波动，甚至在模型排名上产生变化。研究还发现，优化社会偏见和任务表现之间存在权衡。因此，建议使用多样化的提示来比较不同提示对社会偏见的影响，以减少潜在偏见。
❓
Q&A
大型语言模型在社会科学注释任务中的表现如何？
大型语言模型在社会科学注释任务中表现良好，尤其在零-shot 设置下能够执行注释任务。
提示设计对语言模型的影响是什么？
提示设计对语言模型的遵从性和准确性有显著影响，微小的提示变化可能导致生成结果的巨大差异。
使用数值得分而非标签对模型表现有什么影响？
使用数值得分而非标签会降低所有大型语言模型的遵从性和准确性。
开放模型与专有模型在数据隐私方面有什么区别？
开放模型在数据隐私和再现性方面优于专有模型，能够在独立设备上运行，减少隐私问题。
如何优化大型语言模型的表现？
建议使用多样化的提示以优化模型表现，并减少社会偏见。
研究中发现的提示变化对社会偏见的影响是什么？
研究发现大型语言模型对提示变化敏感，可能导致任务表现和社会偏见的波动，建议比较不同提示对社会偏见的影响。
🏷️
