文化影响还是安慰剂？关于社会人口统计提示的有效性
内容提要
本文探讨了大型语言模型（LLM）在文化符号生成和社会偏见识别方面的表现，发现LLM在不同文化生成中存在不平衡，社会人口背景显著影响模型输出。通过评估多种提示策略，提出了改进模型文化一致性和减少偏见的方法，强调多语言预训练数据集的重要性。
延伸解读
文化生成的不平衡与语言标记
文章通过对110个国家和地区的文化条件生成研究发现，LLM在文化符号多样性上存在不平衡，不同地理区域的文化在模型的无文化生成中呈现不同存在感。文化条件生成由区分边缘文化与默认文化的语言“标记”构成，这提示模型可能更倾向于某些文化默认值，导致边缘文化被忽视。
社会人口提示的双重作用
社会人口背景显著影响模型输出，使用社会人口提示可将模型输出导向具有特定社会人口特征的人会给出的答案。研究基于七个数据集和六个模型系列评估发现，该技术能提高注释准确性，并可用于识别不明确实例，从而进行更明智的注释工作，但需注意其可能引入新的偏差。
减少偏见的提示策略
基于第二系统推理提示的复杂方法在减少偏见的平均输出中表现更好，且对下游任务具有竞争性能。这为以最终用户为中心的评估框架提供了方向，表明通过精心设计的提示策略可以缓解模型偏见，但实际部署时仍需权衡性能与公平性。
提升文化一致性的路径
研究发现，当以特定文化的主要语言作为提示，或使用该文化采用的多语言精炼混合体系进行预训练时，LLM表现出更高的文化一致性。文章强调更平衡的多语言预训练数据集对于代表人类经验多样性和不同文化复数性的必要性，并引入人类学提示方法增强文化一致性。
Q&A
大型语言模型在文化符号生成方面存在哪些问题？
大型语言模型在文化符号的多样性方面存在不平衡，不同地理区域的文化在模型生成中表现不同。
社会人口背景如何影响大型语言模型的输出？
社会人口背景显著影响模型输出，使用社会人口提示可以提高注释工作的准确性。
如何减少大型语言模型的偏见输出？
基于第二系统推理提示的复杂方法在减少偏见输出中表现更好，具有竞争性能。
多语言预训练数据集对模型文化一致性有何影响？
使用特定文化的主要语言和多语言预训练数据集可以提高模型的文化一致性。
本文提出了哪些改进大型语言模型的方法？
提出了使用社会人口提示和人类学提示的方法，以提高模型的文化一致性和减少偏见。
研究中使用了哪些数据集和模型系列？
研究评估了七个数据集和六个模型系列，探讨了不同提示策略的效果。
