面向情境学习的信息丰富的少样本提示与最大信息增益
原文中文,约400字,阅读约需1分钟。发表于: 。本文研究了大型语言模型 (Large Language Models, LLMs) 在上下文学习 (In-context Learning, ICL) 方面的能力和稳定性问题,并提出了通过量化数据示例的信息增益 (Information Gain, IG) 来选择具有最大信息增益的样本的方法,同时引入了模板偏差 (template bias) 的校准策略,实验证明该方法能够显著提升三种...
本文研究了大型语言模型在上下文学习中的表现,发现黄金标签对下游上下文性能有显著影响,但不平衡标签对ICL的影响较小。ICL对标签扰动的敏感性较低,随着模型大小的增加,ICL的性能逐渐与监督学习相当。