MT 中 LLM 的上下文学习能力的实证分析
内容提要
本文研究大语言模型的上下文学习（ICL）机制，通过相同示例对比ICL与监督学习，发现黄金标签显著影响ICL性能，而不平衡标签影响较小；ICL对标签扰动更鲁棒，且模型规模越大越接近监督学习。相关研究还涉及演示选择、表示变化、语音ICL及核回归解释。
延伸解读
黄金标签与不平衡标签的不同影响
文章通过实验发现，黄金标签（即正确标签）对上下文学习性能有显著影响，尤其在大模型上更为明显；而不平衡标签对ICL的影响较小，且在不同模型规模下均如此。这意味着在实际使用ICL时，应优先确保演示示例的标签正确性，而类别不平衡的负面影响相对可控。
ICL对标签扰动的鲁棒性优于监督学习
与使用相同示例进行监督学习相比，ICL对标签扰动的敏感性更低。这表明ICL在面对噪声标签时可能更稳定，但文章也指出，随着模型规模增大，ICL的性能逐渐接近监督学习。因此，ICL的鲁棒性优势可能在小模型上更明显，大模型下则与监督学习趋同。
模型规模对ICL行为的影响
研究发现，黄金标签的影响随模型规模增大而增强，而ICL与监督学习的性能差距随模型规模增大而缩小。这提示读者，在评估ICL能力时需考虑模型规模：小模型可能更依赖标签质量，而大模型则能更好地利用演示示例，接近监督学习的效果。
Q&A
上下文学习（ICL）和监督学习（SL）在标签扰动下的表现有什么不同？
ICL对标签扰动的敏感性较低，而SL对标签扰动更敏感。实验表明，ICL对标签扰动更鲁棒，且随着模型规模增大，ICL逐渐获得与SL相当的性能。
黄金标签对上下文学习性能的影响有多大？
黄金标签对下游上下文性能有显著影响，尤其是对于大型语言模型。这意味着示例中的正确标签对ICL效果至关重要。
不平衡标签对上下文学习有什么影响？
对于所有模型大小，不平衡标签对ICL的影响较小。这表明ICL对标签不平衡的鲁棒性较强。
模型规模如何影响ICL与监督学习的性能差距？
随着模型大小的增加，ICL逐渐获得与监督学习相当的性能。这表明大模型在ICL中能更好地逼近监督学习的效果。
ICL在语音处理领域有什么应用进展？
有研究提出了第一个探索ICL与语音语言模型在无文本监督下结合的方法，通过热启动训练方法使语音语言模型能在未知任务上进行ICL，并在语音分类任务上验证了可行性。
ICL与核回归有什么联系？
研究表明，大型语言模型在面对语境示例时可以模拟核回归算法，Context prompts上的贝叶斯推理可视为大样本上的核回归，且LLMs中的注意力和隐藏特征与核回归行为相匹配。
