基于预测反馈的情感分析中上下文学习的改进
内容提要
本文探讨了大型语言模型（LLMs）在上下文学习（ICL）中的应用及挑战。研究发现，LLMs在情绪识别中存在显著但不一致的先验影响，模型越大，影响越明显。实验表明，黄金标签对上下文性能影响显著，而不平衡标签影响较小。提出的KICT框架和提示增强的上下文学习（HICL）显著提升了文本分类和情感分析的性能。
延伸解读
大模型先验对情感识别的影响
文章指出，大型语言模型在情感识别任务中存在强烈但不一致的先验，导致预测固化，且模型越大影响越明显。这意味着在情感为中心的任务中，尤其是超出预训练范围时，直接使用大规模模型可能带来偏差，解释上下文学习结果时需谨慎。
标签质量与不平衡的差异影响
实验表明，黄金标签对上下文学习性能有显著影响，尤其对大型语言模型；而不平衡标签的影响较小。同时，上下文学习对标签扰动的敏感性低于监督学习，且随着模型增大，其性能逐渐接近监督学习。这提示在演示设计时，应优先确保标签正确性。
KICT与HICL的改进效果
KICT框架通过注入事实知识、选择高相关性示例并校准预测，在文本分类和问答任务上分别提升超过13%和7%的准确率。HICL则从示范中提取查询相关知识，以更明确的方式提示模型，提升开放域问答性能。这些方法为增强上下文学习提供了有效途径。
上下文学习向语音与多模态的扩展
文章还探讨了上下文学习在语音处理中的应用，提出热启动训练方法使语音语言模型能在无文本监督下进行上下文学习，并在语音分类任务上验证了可行性。此外，针对视觉语言模型在上下文学习指令上的不足，通过扩展对齐框架显著提升了性能，为多模态上下文学习评估提供了新基准。
Q&A
大型语言模型在情感分析中的表现如何？
大型语言模型在情感分析中表现出显著但不一致的先验影响，模型越大，影响越明显。
什么是KICT框架，它如何改善上下文学习？
KICT框架通过注入事实知识和选择高相关性示例，显著提高了上下文学习的性能，尤其在文本分类和问题回答任务中表现优异。
上下文学习（ICL）在大型语言模型中的应用有哪些挑战？
上下文学习面临的挑战包括情绪识别中的先验影响和标签不平衡对模型性能的影响。
提示增强的上下文学习（HICL）是什么？
提示增强的上下文学习（HICL）是一种新范式，通过从示范中提取相关知识来提高大型语言模型的性能。
黄金标签对上下文学习的影响是什么？
黄金标签对上下文学习的性能有显著影响，尤其是在大型语言模型中。
如何提高大型语言模型在文本分类中的性能？
通过使用KICT框架和提示增强的上下文学习，可以显著提升大型语言模型在文本分类中的性能。
