通过上下文增强研究 LLMs 作为投票助手：以 2024 年欧洲议会选举为案例研究
内容提要
本文探讨了大型语言模型（LLMs）在政治偏好预测中的应用，发现其个体层面的准确率为69%至76%。研究表明，LLMs能够增强民主系统的构建，尤其在样本不足时表现更佳。同时，LLMs在处理社会偏见和优化提示技术方面面临挑战，强调了其在定性分析中的潜力和责任应用的重要性。
延伸解读
LLMs在选举预测中的准确率与优势群体
文章指出，LLMs在个体层面预测政治偏好的准确率为69%至76%，且对自由派和大学教育程度较高的参与者预测更准。这表明模型可能更擅长捕捉特定人群的偏好，但在其他群体上可能存在偏差。读者需注意，这种优势可能源于训练数据或模型设计，实际应用中需评估对不同人群的公平性。
样本不足时LLMs的增强价值
当随机样本仅代表总人口30%至40%时，LLMs增强的数据能更好地预测整体偏好。这意味着在传统调查成本高或样本代表性不足的情况下，LLMs可作为补充工具，提升预测准确性。但文章也强调，这并非万能，需结合具体场景和模型表现谨慎使用。
模型规模与政治倾向的关联
研究发现，较大的模型更倾向于与左翼政党相符，而较小的模型通常保持中立。这提示模型的政治倾向可能随规模变化，影响其输出。在将LLMs用于政治分析时，需严格评估其偏见，避免因模型倾向导致结论失真，确保应用的完整性和公平性。
LLMs应用的挑战与责任
文章强调LLMs在提示调优、社会偏见和主观性方面面临挑战，需优化提示技术并利用人类专业知识来缓解。同时，LLMs在定性分析中具有潜力，但应负责任地应用，增强而非取代研究者的技能。读者应关注这些限制，在利用LLMs时保持批判性思维。
Q&A
大型语言模型在政治偏好预测中的准确率是多少？
大型语言模型在个体层面的预测准确率为69%到76%。
LLMs如何在样本不足的情况下增强民主系统？
LLMs在样本不足时能够更好地预测整体偏好，尤其在随机样本仅代表总人口不超过30%到40%的情况下。
较大的语言模型与较小的模型在政治倾向上有什么区别？
较大的模型更倾向于与左翼政党相符，而较小的模型通常保持中立。
LLMs在处理社会偏见方面面临哪些挑战？
LLMs在处理社会偏见和优化提示技术方面面临挑战，强调了其在定性分析中的潜力和责任应用的重要性。
如何利用LLMs进行定性分析？
LLMs可以用于填补缺失的趋势并确定公众态度的变化，尽管在zero-shot预测任务中的表现有限。
LLMs在增强民主系统的构建中有哪些潜在用途？
研究表明，LLMs在增强民主系统的构建中具有潜在用途，尤其是在处理缺失数据和预测公众偏好方面。
