话语中的角色识别：对 LLMs 的挑战？
内容提要
大语言模型在政治学文本分析中具有应用潜力，可用于议会发言人归属、公共事务文件分类、模拟党派群体动态及参议员立场分析。研究表明，LLM在情绪与道德判断上表现良好，但立场检测仍具挑战；经微调后可媲美甚至优于人工标注，且更快速、成本更低，是文本编码的可行选择。
延伸解读
LLM在政治文本分析中的优势与局限
文章指出，LLM在情绪和道德判断上表现良好，但立场检测仍具挑战。经微调后，LLM可媲美甚至优于人工标注，且速度更快、成本更低。然而，在模拟人类群体动态时，链式思考可能损害行为一致性，且微调存在过度拟合风险。这些发现提示，LLM是文本编码的可行选择，但需注意其局限性。
微调与提示策略对LLM表现的影响
文章提到，使用QLoRA微调Llama 2在议会发言人归属任务上取得竞争性表现。在模拟党派群体智慧时，扮演具体人物且无链式思考的LLM代理与人类行为更一致，而链式思考则降低一致性。此外，将明确偏见纳入提示并不一定增强党派群体智慧。这表明微调和提示设计对LLM行为有显著影响。
LLM在政治学文本编码中的实用指南
文章强调，当提供详细标签定义和编码示例时，LLM在非英文政治学文本编码任务上可媲美或优于人工标注，速度快数百倍，成本节省高达60%，且易于扩展。这为研究人员将LLM纳入文本分析提供了实用参考，但需注意任务差异和模型选择。
Q&A
大语言模型在政治学文本分析中有哪些具体应用？
大语言模型在政治学文本分析中可用于议会发言人归属、公共事务文件分类、模拟党派群体动态、参议员立场分析以及政治偏见解读与预测等。
LLM在政治文本编码任务中相比人工标注有哪些优势？
当提供详细的标签定义和编码示例时，LLM可以与甚至优于人工标注员，且速度快得多（高达数百倍），成本更低（比人工编码节省高达60%），且更易于扩展到大量文本。
LLM在政治立场检测方面表现如何？
研究发现LLM在捕捉情绪和道德细微差别方面有效，但在立场检测方面存在一些挑战，突显了NLP工具在政治敏感环境中精细化和改进的复杂性和潜力。
使用LLM模拟党派群体动态时有哪些主要发现？
扮演具体人物且没有链式思考的LLM代理人与人类行为紧密一致，而有链式思考则损害了一致性；将明确的偏见纳入代理人提示并不一定增强党派群体的智慧；用人类数据微调LLM可显示类似人类行为的潜力，但存在过度拟合特定行为的风险。
LLM在理解语境和对话方面存在什么不足？
实验发现目前的LLM模型在完成只需要二进制推断的对话时表现平庸，需要进一步研究如何使得LLM适应更贴合人类意图的对话模式。
如何利用LLM自动化德国议会辩论的发言人归属？
研究利用大型语言模型家族Llama 2，并使用QLoRA进行微调，自动化德国2017-2021年议会辩论的发言人归属，得到了具有竞争性表现的结果。
