探索人与语言模型协同推动定性分析的潜力：以心理疾病歧视为例的案例研究
内容提要
本文探讨了大型语言模型（LLMs）在定性数据分析和人机交互研究中的应用潜力。研究表明，LLMs在编码质量上与人工编码相似，并在某些任务中表现优异。尽管在心理健康领域展现出优势，但仍需谨慎使用，强调应作为人类专业知识的补充。文章还讨论了LLMs的挑战与优化策略，以促进其负责任的应用。
延伸解读
LLM在定性分析中的实际表现
文章通过案例研究显示，GPT-4在部分编码任务中与人工编码者的一致性达到Cohen's Kappa≥0.79，而GPT-3.5表现较差（平均Kappa=0.34）。这表明模型能力差异显著，选择合适模型至关重要。同时，要求LLM给出编码理由（思路连贯推理）能显著提高准确性，这为实际应用提供了优化方向。
人机协作的协同效应与局限
研究指出，人类分析师与LLM在分类和推理能力上存在显著差异，但合作可产生协同效应，丰富定性研究。LLM能减少人力和时间需求，但可能产生幻觉输出，且在心理健康咨询中，人类的情感理解、细致解读和背景意识不可替代。因此，LLM应作为人类专业知识的补充而非替代。
应用中的挑战与优化策略
文章提到LLM在定性分析中面临提示调优、偏见和主观性等挑战。为缓解这些问题，可优化提示技术、利用人类专业知识，并考虑标注错误和变化。此外，在心理健康领域，还需关注文本一致性、幻觉内容和伦理框架等风险。这些策略有助于实现LLM的负责任应用。
Q&A
大型语言模型在定性数据分析中的优势是什么？
大型语言模型（LLMs）在定性数据分析中表现出与传统方法相当的有效性，并能够提供独特的见解，同时减少人力和时间需求。
LLMs在心理健康领域的应用潜力如何？
LLMs在心理健康领域展现出很大的潜力，但应谨慎使用，作为人类专业知识的补充而非替代。
使用LLMs进行定性分析时需要注意哪些挑战？
使用LLMs进行定性分析时需注意提示调优、偏见和主观性等挑战。
人类分析师与LLMs的合作能带来什么好处？
人类分析师与LLMs的合作可以产生协同效应，丰富定性研究，提升分析的深度和质量。
如何优化LLMs的使用以提高定性分析的效果？
可以通过优化提示技术和利用人类专业知识来提高LLMs在定性分析中的效果。
LLMs在自动编码过程中的表现如何？
LLMs在自动编码过程中能够提供与人工编码者相似的编码质量，且在某些任务中表现优异。
