明示和隐示的大型语言模型角色生成意见，但无法复制更深层次的认知和偏见
内容提要
研究表明，大型语言模型（LLMs）在模拟人类行为时存在偏见和局限性，尤其在回答主观问题时受文化、年龄和性别偏见影响。个性化提示对模型表现的改善有限，且存在社会期望偏差。因此，在使用LLMs进行决策模拟前，需分析问题引导的稳健性，以避免延续偏见。
延伸解读
文化偏见：模型价值观的偏向性
文章指出，大型语言模型在回答主观问题时表现出文化偏见，其价值观与英语国家和经济竞争力强的国家最为相似。这意味着模型可能无法公平地代表不同文化背景的观点，在跨文化应用中可能强化特定文化视角。
个性化提示的局限性
尽管个性化提示能在一定程度上改善模型模拟特定角色的表现，但其效果有限，在解释人类标注差异方面的作用不足10%。这表明仅靠提示工程难以完全复现人类观点的多样性，模型在模拟个体决策时仍存在明显偏差。
社会期望偏差：模型评估的隐患
研究发现大型语言模型存在社会期望偏差，会影响其评估和得分，且这种偏差在更近期的模型中可能更严重。这提示我们，在使用心理测验或将模型作为人类代理时，需警惕模型可能给出符合社会期望而非真实情况的回答。
可控性与观点多样性的权衡
在生成符合特定人物角色的观点时，模型对不一致角色的可控性较低，有时会生成刻板立场而非目标立场。经过RLHF微调的模型可控性更高，但观点多样性减少。这揭示了在追求可控性的同时可能牺牲观点的丰富性。
Q&A
大型语言模型在模拟人类行为时存在哪些偏见？
大型语言模型在模拟人类行为时，尤其在回答主观问题时，受到文化、年龄和性别偏见的影响。
个性化提示对大型语言模型的表现有多大改善？
个性化提示对大型语言模型的表现改善有限，且在解释人类标注中的作用较低。
社会期望偏差如何影响大型语言模型的评估？
社会期望偏差会影响模型的评估和得分，可能在更近期的模型中更为严重。
大型语言模型在生成文本时的可控性如何？
大型语言模型在生成符合特定人物角色的观点分布的文本时，存在可控性不足的问题。
如何分析大型语言模型的模拟能力？
在使用大型语言模型模拟个体决策或集体行为之前，需分析问题引导的稳健性和变异性。
大型语言模型的文化偏见对社会有什么影响？
认识到大型语言模型的文化偏见非常重要，以避免延续偏见并创造更具偏见的算法。
