大型语言模型的社会偏见评估需求提示变化

BriefGPT - AI 论文速递 · 2024-07-03T00:00:00Z

大型语言模型（LLMs）模拟回答主观问题的结果显示问题引导对偏见和变异有影响，突出了文化、年龄和性别偏见。测量LLMs与调查数据差异的方法包括计算加权平均值和基于Jaccard相似性的新提出的测量。需要分析问题引导的稳健性和变异性，才能在使用LLMs模拟个体决策或集体行为之前进行。