基于多样化指令的可控生成大型语言模型的基准测试
内容提要
该文综述多项研究，评估语言模型在指令遵循与可控文本概括上的表现。结果显示，指令可控概括仍是难题，存在多种错误与性能差异；模型在复杂指令、对抗性指令及细粒度约束下明显落后于人类，且易过拟合指令短语。代码任务中，指令模型零样本具竞争力，少样本示例常有益但不稳定，微调可进一步提升性能。研究还发布IntruSum、CELLO、IFEval、FollowEval、FollowBench等基准，推动后续研究。
延伸解读
指令可控概括仍是薄弱环节
文章指出，语言模型在标准概括基准上表现强劲，但在指令可控的文本概括任务中仍面临挑战，存在多种错误和性能差异。这说明模型在需要同时满足内容概括与指令约束的场景下，能力尚未成熟。研究为此发布了IntruSum基准，旨在推动后续评估与改进。读者应意识到，模型在简单概括任务上的高分，不能直接等同于其能可靠执行带约束的概括指令。
复杂与对抗指令暴露模型短板
多项基准测试显示，模型在复杂指令、对抗性指令及细粒度约束下明显落后于人类。CELLO聚焦八类复杂指令特征，FollowBench评估多级细粒度约束，FollowEval则覆盖字符串处理、常识与逻辑推理等维度。研究还发现，指令调优模型容易过拟合输入的指令短语，而未能真正理解应遵循哪些指令。这提示实际应用中需警惕模型对指令的表面模仿。
代码任务中的表现与选样策略
在代码理解和生成任务上，零样本设置下指令模型已具竞争力，有时甚至优于针对下游任务微调的小型SOTA模型；少样本示例通常有益，但有时会导致不稳定或更差表现。研究还发现，基于BM25的选样策略在生成问题上明显优于随机或固定选样。微调可进一步提升性能，且微调后的指令模型优于小型SOTA模型和未指令微调的同类模型。这些发现为实际使用中的示例选择和成本权衡提供了参考。
评估基准与评估器本身仍需改进
文章汇总了IntruSum、CELLO、IFEval、FollowEval、FollowBench等多个基准，覆盖概括、复杂指令、可验证指令、多维度跟随和细粒度约束等不同角度。同时，LMMBar元评估基准的研究发现，不同评估器在评估指令遵循生成文本时表现各异，最高分评估器仍有改进空间。这意味着，在依赖自动评估判断模型指令遵循能力时，评估器本身的可靠性也是需要关注的因素。
Q&A
有哪些基准测试用于评估大语言模型的指令遵循能力？
文章提到了多个基准测试：IntruSum（指令可控文本概括）、CELLO（复杂指令理解）、IFEval（可验证指令遵循）、FollowEval（多维度指令跟随）、LMMBar（元评估）、FollowBench（多级细粒度约束遵循）。
大语言模型在指令可控文本概括任务上表现如何？
指令可控的文本概括对语言模型仍具挑战性，存在各种错误和性能差异。
大语言模型在遵循复杂指令方面与人类相比有何差距？
模型在复杂指令、对抗性指令及细粒度约束下明显落后于人类，且易过拟合指令短语而无法真正理解应遵循哪些指令。
在代码任务中，指令微调模型的表现有哪些研究发现？
零样本下指令模型有竞争力，有时优于微调的小型SOTA模型；少样本示例常有益但不稳定；微调可进一步提升性能，且微调后优于小型SOTA模型和未指令微调的相似规模模型。
IFEval基准主要评估什么？
IFEval专注于一组“可验证指令”，构建了约500个提示，每个提示包含一个或多个可验证指令，用于评估大语言模型遵循指令的能力。
FollowEval基准涵盖哪些维度的指令跟随能力？
FollowEval涵盖字符串处理、常识推理、逻辑推理、空间推理和响应约束五个关键维度。
