InFoBench：评估大型语言模型的指令遵循能力
内容提要
本文综述大语言模型指令遵循能力的评估研究。FollowBench、FollowEval、IFEval、CoDI-Eval等基准从多级细粒度约束、多维度任务及可验证指令等角度测评，发现模型明显落后于人类，开源与闭源模型差距显著。指令追踪评分（IFS）可衡量遵循能力并作早停准则，模型训练早期即学会遵循指令，过度微调则致语义变化。研究还揭示模型易过拟合指令短语、难以真正理解指令，且对对抗性指令攻击防御不足。
延伸解读
评估基准的多样性反映指令遵循的多维挑战
文章介绍了多个指令遵循评估基准，如FollowBench关注多级细粒度约束，FollowEval涵盖字符串处理、常识推理等五个维度，IFEval聚焦可验证指令，CoDI-Eval系统评估各类约束。这些基准从不同角度揭示模型在指令遵循上的不足，表明单一评估难以全面衡量能力，需结合多种基准才能更准确诊断模型短板。
指令追踪评分（IFS）的双重作用：度量与早停
IFS通过格式良好回应与部分/完整句子的比例衡量指令遵循能力，并可作为指令微调的早停准则。在LLaMA模型实验中，IFS显示模型在训练早期即学会遵循指令，而进一步微调会导致语义变化，IFS趋于平稳时语义变化最显著。这提示过度微调可能损害模型语义理解，IFS有助于平衡指令遵循与语义保持。
模型局限：过拟合指令短语与对抗攻击脆弱性
研究揭示指令调优模型容易过拟合于输入的指令短语，而无法真正理解应遵循哪些指令，导致在处理陌生指令时性能显著下降。此外，先进模型在抵御对抗性指令攻击方面存在明显局限。这表明当前模型可能仅学会表面模式匹配，而非深层语义理解，提升鲁棒性和真正理解指令是未来关键方向。
Q&A
有哪些基准可以用来评估大语言模型的指令遵循能力？
文章提到了多个基准：FollowBench（多级细粒度约束遵循基准）、FollowEval（涵盖字符串处理、常识推理、逻辑推理、空间推理和响应约束五个维度）、IFEval（基于可验证指令，约500个提示）、CoDI-Eval（系统评估对带约束指令的响应）以及LMMBar（元评估基准，用于评估LLM评估器）。
大语言模型在指令遵循方面与人类相比表现如何？
根据FollowEval基准测试，大型语言模型在指令跟随能力方面明显落后于人类，还有很大的改进空间。此外，开源与闭源模型之间存在显著差距。
什么是指令追踪评分（IFS）？它有什么作用？
指令追踪评分（IFS）是一种用于检测语言模型遵循指令能力的度量标准。它通过格式良好回应与部分和完整句子之间的比例来衡量基础模型和指令模型。IFS还可以作为指令调整的早停准则，研究表明模型在训练相对早期就学会了遵循指令，进一步微调可能导致基础模型语义变化。
指令微调过程中模型遵循指令的能力是如何发展的？
通过在7B和13B LLaMA模型的监督微调中计算IFS，研究发现模型在训练过程中相对早期就学会了遵循指令。然而，进一步微调可以导致基础模型语义的变化，并且当IFS趋于平稳时语义变化最为显著。
大语言模型在遵循指令时存在哪些常见问题或局限性？
文章指出，模型容易过拟合于输入的指令短语而无法真正理解应该遵循哪些指令；在处理陌生指令时性能显著下降；对对抗性指令攻击的防御能力不足；并且在按照特定约束执行指令方面存在局限性。
如何评估大语言模型作为指令遵循评估器的效果？
文章介绍了LMMBar元评估基准，用于调查LLMs在评估指令遵循生成文本方面的效力。研究发现不同评估器在LMMBar上的性能表现不同，最高分的评估器仍有改进空间，并提出了一套新颖的提示策略来缩小LLM与人类评估器之间的差距。
