揭示大型语言模型中的细粒度值和观点
内容提要
本研究探讨了大型语言模型（LLMs）在社交媒体政治讨论中的偏见解读与预测。通过综合分析框架，评估模型在情绪、道德和立场上的表现，发现其在捕捉情绪细微差别方面有效，但在立场检测上存在挑战。研究强调了对政治偏见的理解及其在人工智能应用中的重要性。
延伸解读
评估方法的人为性与真实场景的差距
文章指出，许多对LLMs价值观和观点的评估依赖于约束性任务，如政治罗盘测试的多选题格式。然而，当模型不被强制遵循特定格式时，其答案会发生实质性变化，且缺乏改写稳健性。这表明当前评估方法可能无法反映模型在真实开放环境中的表现，读者需警惕基于约束性测试得出的结论的局限性。
模型规模与政治倾向的关系
研究发现，LLMs的态度可靠性随参数数量的增加而提高，但较大的模型整体上更偏向左翼政党。不过，这种倾向在不同政策领域存在差异：模型对环境保护、社会福利、法律和秩序表现出左翼积极态度，而对外交政策、移民和经济则没有一致偏好。这提示模型的政治偏见并非单一维度，需具体问题具体分析。
用户提示语言对政治化回答的影响
文章建议，为避免模型提供政治化回答，用户在构建查询时应选择中立的提示语言。因为当查询涉及职业、种族或政治取向时，模型倾向于给出与自由派或左倾观点更接近的回答。这意味着用户可以通过调整提问方式来减少偏见，但同时也需意识到模型本身可能存在的倾向性。
道德维度与偏见缓解的探索
研究还发现，专有模型主要以功利主义为基础，而开源模型更符合价值伦理学，且除Llama 2外，所有被调查模型都显示出明显的自由主义偏见。为了缓解偏见，有研究提出通过相似性激活引导技术进行因果干预，可靠地引导模型的道德观达到不同伦理学派别。这为AI的道德应用提供了新思路。
Q&A
大型语言模型在政治讨论中如何表现？
大型语言模型在捕捉情绪和道德细微差别方面表现有效，但在立场检测上存在挑战。
研究发现大型语言模型倾向于哪种政治观点？
研究发现大型语言模型倾向于自由派观点。
如何避免大型语言模型提供政治化的回答？
用户在构建查询时应选择中立的提示语言，以避免政治化回答。
大型语言模型的态度可靠性如何变化？
大型语言模型的态度可靠性随参数数量的增加而增加，较大的模型整体上更偏向左翼政党。
研究中如何衡量大型语言模型的政治偏见？
通过分析LLMs生成内容中关于政治问题的内容和风格来衡量政治偏见。
大型语言模型在道德特性上有什么发现？
研究发现专有模型主要以功利主义为基础，而开源模型更符合价值伦理学。
