不是所有演示例子一样有益：重新加权演示例子进行上下文学习
原文中文，约400字，阅读约需1分钟。发表于：。使用掩码自预测分数，对掩码预训练的大型语言模型进行上下文学习（In-Context Learning），并通过优化示例权重以及应用于不同模型位置的两种策略，在 8 个文本分类任务中显著优于常规的上下文学习方法。
该研究探讨了在大型语言模型中使用较少示例是否可以实现in-context learning，并发现仅使用一组随机选择的示例也可以实现接近于所有示例的性能。同时，研究发现ICL使用多个示例时的表现与预期情况相反，即当给出更多正确的/错误的示例时，ICL的准确性会下降/提高，这暗示着干扰和虚假关联可能会误导ICL。因此，LLMs培训，ICL和基准设计中需要解决若干基本挑战。
