BriefGPT - AI 论文速递
·
配对完成：利用大型语言模型灵活量化问题框架
内容提要
本文探讨了通过多任务和对抗式训练，将新闻和社交媒体中的框架检测模型转移到讨论论坛。提出的FrameAxis方法量化文本中的话语取向，分析社交媒体上移民政策的表述，发现特定帧更能引发用户参与。同时，研究评估了大型语言模型在处理争议性问题上的表现，强调了可解释性在社会科学研究中的重要性。
关键要点
-
通过引入新的在线讨论语料库，探讨如何在未标记训练数据的情况下，将框架检测模型转移到讨论论坛领域。
-
提出FrameAxis方法，量化文本中的话语取向，识别重点话语轴，以无监督方式对大数据集进行语义特征表征。
-
研究发现，特定帧在社交媒体上更能引发用户参与，用户的意识形态和地域影响话语选择和反应。
-
提出一种建模差异语境的框架，捕捉传统媒体和社交媒体上的政治性偏见问题。
-
重新评估传播科学中的框架概念，结合叙事框架，提出自动检测多标签测定的框架。
-
通过细分辩论领域和使用大型语言模型，提升叙述分类模型的效果，具有实用价值。
-
构建具有争议性的问题数据集，评估不同大型语言模型在处理争议性问题上的表现。
-
考察GPT-3.5 Turbo、GPT-4和Flan-T5模型在检测新闻标题中的框架偏见的性能，强调可解释性的重要性。
-
探索通过众包进行数据集创建的可能性，开发多语种的媒体框架分析，提升基线表现。
-
利用大型语言模型从社交媒体消息中提取潜在观点，解决手动编码方法的耗时和高成本问题。
延伸问答
FrameAxis方法的主要功能是什么？
FrameAxis方法用于量化文本中的话语取向，通过识别重点话语轴以无监督方式对大数据集进行语义特征表征。
社交媒体上哪些因素影响用户对移民政策的表述？
用户的意识形态和地域影响他们对移民政策的表述和反应。
如何评估大型语言模型在处理争议性问题上的表现？
通过构建具有争议性的问题数据集，评估不同大型语言模型在该数据集上的表现，揭示它们如何处理争议性问题。
文章中提到的可解释性在社会科学研究中有何重要性？
可解释性在社会科学研究中重要，因为它帮助理解框架偏见及其对社会议题的影响。
如何提高叙述分类模型的效果？
通过细分辩论领域、提取叙述模式以及使用大型语言模型生成支持性证据，可以提高叙述分类模型的效果。
文章中提到的众包数据集创建有什么优势？
众包数据集创建可以利用非专家注释员开发训练语料库，扩展多语种的媒体框架分析，并提高基线表现。
