多模态立场检测：新数据集和模型
内容提要
该文综述社交媒体立场检测技术，涵盖观点挖掘、多模态与跨目标方法。研究发现，精调文本模型优于多模态模型和大模型少样本预测；CT-TN模型跨目标性能提升11%至21%；Branch-BERT用于会话立场检测；多语言数据集支持跨语言迁移；提示微调提升少样本效果。文章还指出态度检测存在时间不一致和测量误差等局限。
延伸解读
文本模型为何仍占优
文章指出，精调的文本语言模型集合在立场预测上优于多模态模型和大模型少样本预测。这提示在社交媒体立场检测中，图像信息未必总是增益，尤其当图像内容可被摘要为自然语言时，多模态模型表现更好。因此，实际应用中应优先考虑高质量文本模型，并谨慎评估多模态融合的必要性。
跨目标与跨语言迁移的进展
CT-TN模型在跨目标场景下平均性能提升11%至21%，且仅需300个目标实例即可超越其他模型，显示社交特征利用的潜力。多语言数据集支持零样本跨语言和跨目标迁移，基于情感的预训练在低资源下带来6%以上F1提升。这些成果表明迁移学习是应对标注数据稀缺的有效途径。
会话立场检测的新任务
文章提出会话立场检测任务，并构建了基于香港社交媒体平台的CSD数据集，模型Branch-BERT将上下文信息融入会话线程，取得优于基线的结果。这反映了立场检测正从单条文本向对话上下文扩展，更贴近真实社交互动，但也对数据标注和模型设计提出更高要求。
态度检测的局限与风险
文章强调，社交媒体表达的态度与公开问卷回应存在差异，态度检测面临时间不一致、不同建构和测量误差等问题。这意味着模型预测可能不稳定，且难以直接等同于真实态度。研究者需建立框架评估这些局限，避免过度解读检测结果。
Q&A
多模态立场检测中，精调文本模型和多模态模型哪个效果更好？
研究表明，精调的基于文本的语言模型的集合优于多模态模型和使用最新的大型语言模型进行的基于文本的少量训练数据的预测。
CT-TN模型在跨目标立场检测中性能提升多少？
CT-TN模型在跨目标场景下，相比于现有的基线模型，平均性能提高了11%至21%。
什么是会话立场检测？Branch-BERT模型有什么作用？
会话立场检测是一种新的目标特定立场检测任务，旨在推断给定数据实例及其相应的会话主题的立场。Branch-BERT模型将上下文信息融入到会话线程中以预测要检测的立场，实验证明该模型相较于其他基线模型能够取得更好的结果表现。
多语言立场检测数据集是如何构建的？跨语言迁移效果如何？
利用来自瑞士选举候选人的评论，构建了一个多语言立场检测数据集，包含3种语言的67,000条评论，预先加入自然问题代表目标，并用此训练出一种适用于所有政治问题的单一模型。使用多语言BERT的基线结果表明，该方法在零样本的情况下，进行跨语言和跨目标的转移效果相对成功。
提示微调在少样本立场检测中有什么效果？
本文提出了基于预训练语言模型（PLMs）的提示微调方案，以实现针对不同目标的在有限数据情况下的态度检测，通过设计面向目标的提示和提出新的翻译，实验结果表明该模型在全数据和少样本场景下均具有优越的性能。
态度检测存在哪些局限性？
研究发现，在进行态度检测时，存在时间不一致、不同建构和测量误差等问题，进一步为研究确定模型的局限性提供了一个框架，提供重要的见解。
