忽略不计：大型语言模型中的指令覆盖和调控
内容提要
该文综述大语言模型指令遵循研究，指出模型易过拟合指令短语、难以真正理解意图，陌生指令下性能显著下降；介绍LMMBar、IFEval等评估基准及Evol-Instruct方法，用AI生成指令微调出WizardLM，效果优于人工指令，部分输出胜过ChatGPT。
延伸解读
指令遵循的脆弱性：过拟合与理解缺失
文章指出，当前先进的指令遵循模型存在显著局限：它们容易过拟合于输入的指令短语，而无法真正理解应该遵循哪些指令。这导致在对抗性指令攻击下表现不佳，并且在处理陌生指令时性能显著下降。这种脆弱性揭示了模型更多是在匹配表面短语，而非理解意图，这是提升指令遵循能力需要解决的核心挑战。
评估基准的演进：从LMMBar到IFEval
为了衡量指令遵循能力，文章介绍了多个评估基准。LMMBar是一个元评估基准，用于调查LLM在评估指导遵循生成文本方面的效力，发现不同评估器表现不同，且与人类评估仍有差距。IFEval则专注于可验证指令，构建了约500个提示，每个包含一个或多个可验证指令，提供了一种简单可复制的评估方式。这些基准有助于更客观地比较模型能力。
AI生成指令的潜力：Evol-Instruct与WizardLM
文章提到，通过Evol-Instruct方法，可以从初始指令集逐步重写为更复杂的指令，并用这些AI生成的指令微调LLaMA模型，得到WizardLM。人类评估证明，Evol-Instruct生成的指令优于人工创建的指令，尤其在高复杂度方面，且WizardLM的输出被认为比OpenAI ChatGPT更好。尽管WizardLM在某些方面仍落后，但研究表明用AI生成指令进行微调是提升大型语言模型的一个有前途的方向。
Q&A
大型语言模型在指令遵循方面存在哪些主要问题？
模型容易过拟合于输入的指令短语，无法真正理解应该遵循哪些指令，导致在陌生指令下性能显著下降。
有哪些评估大型语言模型指令遵循能力的基准？
LMMBar和IFEval是两种评估基准。LMMBar是元评估基准，用于评估LLM评估指导遵循生成文本的效力；IFEval专注于可验证指令，包含约500个提示。
Evol-Instruct方法是如何工作的？
Evol-Instruct从一个初始指令集开始，逐步将其重写为更复杂的指令，然后将生成的所有指令数据混合起来，用于调整LLaMA模型，得到WizardLM模型。
WizardLM模型的效果如何？
人类评估证明，Evol-Instruct出产的指令优于人工创建的指令，尤其是在高复杂度方面，WizardLM模型的输出被认为比OpenAI ChatGPT的输出更好。
指令微调对大型语言模型在未知任务上的表现有何影响？
指令微调能增强大型语言模型在未知任务上的零样本功能，但在处理陌生指令时性能显著下降，且对关系抽取指令的稳健性较问答指令更差。
大型语言模型在文本安全性方面存在哪些风险？
当前的LLMs不仅偏爱某些指令动词，而且在显式正常指令中存在不同的越狱率，这意味着指令动词将不同程度地增强模型生成不安全内容的概率。
