SeCoKD: 对大型语言模型进行上下文学习的对齐方法，更少的示例
内容提要
本文介绍了Self-ICL框架，通过虚拟演示优化大型语言模型的内在能力，显著提升模型性能。研究提出了迭代示范选择（IDS）和演示增强方法（DAIL），有效提高少样本和多样本学习的效果。实验结果表明，IDS和DAIL在常识推理和问答任务中优于现有方法，展示了大型语言模型在上下文学习中的潜力。
延伸解读
从少样本到多样本：上下文学习的发展脉络
文章梳理了上下文学习从少样本到多样本的发展。少样本学习依赖少量示例，而多样本学习利用扩展的上下文窗口，使用数百甚至数千个示例，在生成和判别任务中带来显著提升。但多样本学习面临人类生成示例的瓶颈，因此文章探索了增强和无监督的多样本学习方法，分别用模型生成的思维链替代人类示例，以及完全取消提示中的理由，仅用领域问题提示模型。这些方法在复杂推理任务中尤为有效。
演示选择与排序：影响ICL性能的关键因素
文章指出，ICL性能对演示的选择和排序非常敏感。迭代示范选择（IDS）通过零样本思维推理迭代选择多样且相关的示范，并采用多数投票得到最终结果，在多个任务上优于现有方法。演示排序方面，少样本上下文课程学习（ICCL）在推理过程中逐渐增加演示的复杂性，实验表明ICCL在指导调整阶段对开源LLM有效，但LLM对演示难度层次的辨别能力弱于人类。
无需外部信息的自我增强方法
针对零样本学习依赖外部信息且生成耗时的问题，文章提出了演示增强方法（DAIL），利用模型之前预测的历史样本作为后续样本的演示，在不增加推理成本且无需外部信息的情况下显著提升模型性能。类似地，自我思辨激励策略（SEC）让模型自行创建示范，然后基于这些示范生成最终输出，在算术推理、常识推理等基准上显著优于零样本学习，并与需要人工示范的上下文学习相当。
多样本学习的优势与局限
文章发现，与少样本学习不同，多样本学习能有效覆盖预训练偏差，并学习具有数值输入的高维函数。然而，分析也揭示了下一个标记预测损失作为下游上下文学习性能指标的局限性。此外，多样本学习在可用的人类生成示例方面存在瓶颈，而增强和无监督方法虽能缓解这一限制，但其效果可能因任务而异。这些发现提示读者，在应用多样本学习时需注意其适用条件和评估指标的选择。
Q&A
Self-ICL框架的主要功能是什么？
Self-ICL框架通过虚拟演示优化大型语言模型的内在能力，显著提升模型性能。
什么是迭代示范选择（IDS）方法？
IDS方法利用零样本思维推理选择多样性和相关性的示范，迭代选择以提高模型性能。
演示增强方法（DAIL）如何改善零样本学习？
DAIL通过利用历史样本作为演示，解决了零样本学习中的外部信息依赖问题，显著提高模型性能。
多样本学习方法的优势是什么？
多样本学习方法通过增强和无监督方式有效提升复杂推理任务的性能，克服了人类生成示例的瓶颈。
演示排序对大型语言模型的性能有何影响？
演示排序是上下文学习中的重要策略，对大型语言模型的性能有显著影响。
大型语言模型在上下文学习中表现如何？
大型语言模型在上下文学习中表现出色，能够通过少量示例适应新任务。
