使用表格提示解锁上下文学习的指导性关系三元组提取
内容提要
本文综述了上下文学习在文本到SQL、对话生成、关系抽取等任务中的进展，提出了adv-ICL、RetICL、prompt-SelF等多种演示选择与提示优化策略，显著提升大语言模型性能，并揭示演示多样性、数量及错误示例对学习效果的重要影响。
延伸解读
演示选择策略的多样性优势
文章指出，在对话生成任务中，随机检索演示往往能取得最佳效果，这可能源于其更大的多样性和有效信息量。相反，与查询上下文完全相同的检索演示表现最差，这一结果与直觉相悖。这提示我们，在构建上下文学习示例时，不必过度追求与查询的精确匹配，适当引入多样性可能更有利于模型学习。
错误示例的利用与学习机制
文章提到，即使演示中破坏了多轮关联和单轮语义，增加演示数量仍能提升对话性能，表明大语言模型可以从损坏的演示中学习。此外，c-ICL方法通过整合正确和错误示例来提升信息抽取性能。这挑战了传统认知，说明模型可能不仅从正确示例中学习，还能从错误中获益，但具体机制尚待进一步研究。
提示优化方法的效率与通用性
adv-ICL方法使用三个LLM分别作为生成器、鉴别器和提示修改器，在11个任务上显著优于最先进的提示优化技术。由于仅更新提示而非模型参数，该方法计算高效，易于扩展到任何LLM和任务，在资源有限环境中尤其有效。这为上下文学习的实际部署提供了低成本的优化路径。
Q&A
什么是上下文学习（In-context Learning）？
上下文学习是一种利用大型语言模型（LLMs）通过少量示例（演示）来学习新任务的方法，无需更新模型参数。
在文本到SQL任务中，上下文学习如何提升性能？
通过不同的演示选择策略和指令格式，上下文学习在Spider数据集上比最先进系统高出2.5个点，比最佳微调系统高出5.1个点。
演示选择策略对上下文学习效果有什么影响？
随机检索演示可以取得最好的结果，可能是因为其更大的多样性和有效信息的数量；与查询上下文完全相同的检索演示表现最差。
adv-ICL方法是什么？它有什么优势？
adv-ICL是一种对抗性上下文学习方法，使用一个LLM作为生成器，另一个作为鉴别器，第三个作为提示修改器来优化提示。它在11个生成和分类任务上显著改进，且计算高效，易于扩展。
RetICL方法如何选择示例？
RetICL将顺序示例选择问题作为马尔可夫决策过程，使用LSTM设计示例检索器模型，并使用PPO进行训练，在数学问题求解数据集上优于启发式和可学习的基线。
在对话生成任务中，上下文学习有哪些发现？
调整提示指令是改善生成质量最直接、最有效、最经济的方法；随机检索演示可以取得最好的结果；增加演示数量仍然可以提高对话性能，即使演示被破坏。
