APE：主动提示工程 - 识别大型语言模型的有效少量示例
原文英文，约400词，阅读约需2分钟。
📝
内容提要
本文介绍了主动提示工程（APE），一种通过人类反馈优化提示的工具，旨在提升大型语言模型（LLMs）的性能。该工具通过选择模糊示例进行反馈，帮助生成有效的少量示例。此外，文章还探讨了在对话状态跟踪中使用合成数据进行少量学习的研究，强调了获取标注训练数据的困难。
🔎
延伸解读
主动学习如何降低提示工程成本
APE工具借鉴主动学习思路，迭代选择最模糊的示例交由人类反馈，再转化为少量示例嵌入提示。这种方法将人工标注集中在模型最不确定的样本上，有望减少筛选大量候选示例的工作量，从而降低提示工程中的人力成本。
少量示例依赖标注数据的现实困境
文章指出，对话状态跟踪中最佳上下文学习方法需要检索并添加相似示例到提示，这要求访问标注训练数据。然而，为广泛领域和应用获取此类数据耗时、昂贵甚至不可行，这构成了少量学习落地的主要障碍。
合成数据作为替代方案的探索
针对标注数据难以获取的问题，SynthDST研究探索使用合成数据进行少量对话状态跟踪。这提示在真实标注稀缺时，合成数据可能成为构建少量示例的可行途径，但其实际效果和适用边界仍需进一步验证。
❓
Q&A
主动提示工程（APE）是什么？
主动提示工程（APE）是一种通过人类反馈优化提示的工具，旨在提升大型语言模型（LLMs）的性能。
APE如何帮助生成有效的少量示例？
APE通过选择模糊示例进行反馈，帮助生成有效的少量示例。
对话状态跟踪中使用合成数据的研究有什么挑战？
该研究强调了获取标注训练数据的困难，尤其是在对话状态跟踪中。
在对话状态跟踪中，最佳学习方法是什么？
最佳学习方法需要检索和添加相似示例到提示中，这需要访问标注训练数据。
为什么获取标注训练数据是一个问题？
获取标注训练数据通常耗时、昂贵，有时甚至不可行。
APE的灵感来源于什么？
APE的灵感来源于主动学习。
🏷️
