随机硅采样：基于群体级人口统计信息的大型语言模型模拟人类亚种群观点
内容提要
本文探讨用语言模型代理特定人群开展社会科学研究的可能，提出“算法保真度”概念，发现模型偏差并非均质，而与人口学特征相关。多项研究显示，模型观点与美国人口群体明显不匹配，小模型偏差更大，且难以通过提示消除性别和种族偏见。研究还评估其在缺失数据插补、舆情预测等调查应用中的能力与局限。
延伸解读
算法偏差并非均质
文章指出，语言模型中的算法偏差并非均匀分布，而是与人口学特征相关。这意味着模型对不同人群的模拟保真度存在差异，可能在某些群体上表现更好或更差。这一发现提醒研究者，不能假设模型偏差是全局一致的，而需针对具体人群评估其适用性。
模型规模与偏差关系
研究发现，较小的语言模型在回答调查问题时存在显著的位置和标记偏差，而较大的模型偏差较小。然而，即使是大模型，其回答的统计数据也缺乏与人类群体信号相关联的特征。这表明模型规模可以缓解部分偏差，但无法完全消除与真实人群的脱节。
提示难以消除偏见
在涉及性别和种族的主观性任务中，模型的预测更接近白人和女性参与者的标签。研究进一步发现，仅仅在提示中加入目标人口统计标签，反而会削弱模型性能。这说明通过简单提示来消除偏见的效果有限，甚至可能适得其反。
调查应用的能力与局限
文章评估了语言模型在缺失数据插补、回溯预测和零样本预测等调查应用中的表现。结果显示，模型在插补和回溯预测上具有一定准确性，可用于填补缺失趋势和识别公众态度变化，但在零样本预测任务中表现有限，凸显了当前模型的挑战。
Q&A
什么是算法保真度？
算法保真度是本文提出的概念，指语言模型作为特定人群代理时，其观点与目标人群观点的一致程度。研究发现模型偏差并非均质，而是与人口学特征相关。
语言模型模拟人口观点时存在哪些偏差？
语言模型存在与人口学特征相关的偏差，例如在礼貌和冒犯性预测中更接近白人和女性参与者的标签；较小模型有显著的位置和标记偏差，较大模型偏差较小；且仅用人口统计学提示可能无法消除性别和种族偏见。
大型语言模型在调查预测中的应用效果如何？
LLMs可用于缺失数据插补、回溯预测和零-shot预测。它们表现出较低精度，但最佳模型在意识形态上准确率明显更高，能填补缺失趋势和确定公众态度变化；然而在zero-shot预测任务中表现有限。
为什么语言模型难以准确模拟不同人口群体的观点？
因为模型偏差与人口学特征相关，且即使明确指向特定群体，模型观点仍与目标群体不匹配；提示中加入人口统计标签反而可能削弱性能，模型倾向于随机统计所有调查答案，缺乏与人类群体信号关联的特征。
如何提高语言模型对人群和文化多样性的模拟能力？
可以通过提出度量多样性的评估数据集和指标，并应用集体批判和自我投票等方法来有效提高模型对人群和文化的多样性。
语言模型在认知行为模拟上有哪些发现？
语言模型在训练中高度代表性的类别中表现出典型性效应，但不太可能表现出结构性引导效应；单一模型往往会高估神经模型中认知行为的存在。
