不是所有演示例子一样有益:重新加权演示例子进行上下文学习

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

该研究探讨了在大型语言模型中使用较少示例是否可以实现in-context learning,并发现仅使用一组随机选择的示例也可以实现接近于所有示例的性能。同时,研究发现ICL使用多个示例时的表现与预期情况相反,即当给出更多正确的/错误的示例时,ICL的准确性会下降/提高,这暗示着干扰和虚假关联可能会误导ICL。因此,LLMs培训,ICL和基准设计中需要解决若干基本挑战。

🏷️

标签

➡️

继续阅读