本文综述大语言模型指令遵循能力的评估研究。FollowBench、FollowEval、IFEval、CoDI-Eval等基准从多级细粒度约束、多维度任务及可验证指令等角度测评，发现模型明显落后于人类，开源与闭源模型差距显著。指令追踪评分（IFS）可衡量遵循能力并作早停准则，模型训练早期即学会遵循指令，过度微调则致语义变化。研究还揭示模型易过拟合指令短语、难以真正理解指令，且对对抗性指令攻击防御不足。

本文介绍了指令追踪评分（IFS）作为一种度量标准，用于评估语言模型遵循指令的能力。通过基准测试，发现格式良好回应与部分和完整句子之间的比例可以作为有效的衡量指标。利用IFS作为指令调整的早停准则，在监督微调中计算IFS，结果表明模型在早期学会了遵循指令，并且微调可以导致基础模型语义的变化。通过辅助标准ObjecQA展示了模型预测的客观性的变化。希望通过将指令调整分解为IFS来更好地处理和理解。

本文介绍了指令追踪评分（IFS）作为一种度量标准，用于评估语言模型遵循指令的能力。通过基准测试，发现回应与部分和完整句子之间的比例可以作为有效的衡量指标。利用IFS作为早停准则，在监督微调中计算IFS，结果表明模型在训练过程中学会了遵循指令，并且微调会导致基础模型语义的变化。通过辅助标准ObjecQA展示了模型预测的客观性变化。希望将指令调整分解为IFS，以便更好地处理和理解。