解析标签空间、格式和歧视：通过上下文学习重新思考 LLM 如何响应并解决任务
原文中文，约1400字，阅读约需4分钟。
📝
内容提要
本研究探讨了大型语言模型在上下文学习中的表现，发现选择语义相似的示例和解决标签模糊性的问题能显著提升模型性能。实验验证了上下文学习对标签扰动的敏感性较低，并提出了新的示例选择方法InfICL，以提高模型的泛化能力。
🔎
延伸解读
标签扰动下的ICL鲁棒性
文章通过对比上下文学习（ICL）与监督学习（SL）在标签扰动（如噪声标签和标签不平衡）下的表现，发现ICL对标签扰动的敏感性较低，且随着模型规模增大，ICL性能逐渐接近SL。这意味着在实际应用中，当标注数据存在噪声或不平衡时，ICL可能比传统微调更稳健，尤其适合大模型场景。
演示选择的新视角：解决标签模糊性
研究指出，选择演示示例时，除了语义相似性，还应考虑帮助解决测试示例周围的标签模糊性。特别地，包含先前被LLM错误分类且与测试示例决策边界相近的演示示例，能带来最大性能提升。这为设计更有效的演示选择策略提供了新方向，即关注决策边界附近的难例。
InfICL：基于影响函数的演示选择
文章提出InfICL方法，通过影响函数分析训练样本对ICL的影响力，选择高影响力的训练样本作为演示，从而提高泛化性能。在多个实际数据集上，InfICL优于现有基准方法。这表明，利用影响函数可以更精准地筛选演示，提升ICL效率，尤其适用于标注数据有限的任务。
❓
Q&A
大型语言模型如何通过上下文学习提升性能？
通过选择语义相似的演示示例和解决标签模糊性的问题，可以显著提升大型语言模型的性能。
InfICL方法的主要作用是什么？
InfICL是一种新的示例选择方法，旨在选择对上下文学习有高影响力的训练样本，从而提高模型的泛化能力。
上下文学习对标签扰动的敏感性如何？
上下文学习对标签扰动的敏感性较低，尤其是在大型语言模型中表现明显。
选择演示示例时需要考虑哪些因素？
选择演示示例时需要考虑语义相似性和解决测试示例周围的标签模糊性。
不同任务对上下文学习的要求有什么不同？
不同任务需要不同的辅助解释，演示中的标签和输入分布会影响模型表现。
大型语言模型在上下文学习中的表现如何？
大型语言模型在上下文学习中展示了显著的能力，能够通过少量训练示例学习新任务。
🏷️
