零样本上下文学习的演示增强
原文中文,约300字,阅读约需1分钟。发表于: 。我们提出了一种名为 Demonstration Augmentation for In-context Learning (DAIL) 的方法,通过利用模型之前预测的历史样本作为后续样本的演示,来解决大型语言模型在零 - shot 学习中依赖外部信息并且生成过程耗时的问题,同时在没有任何外部信息的情况下,DAIL 不增加推理成本可以显著提高模型的性能。
预训练大型语言模型在上下文少例学习方面表现出非凡能力。最近的发展是使用对每个输入查询量身定制的示例进行检索,提高了学习效率和可伸缩性。对检索式少例学习领域的研究进行了广泛概述回顾,讨论了不同设计选择。