提高提示一致性的结构化生成方法 [译]
内容提要
Hugging Face的研究团队发现提示格式微小变化对评估结果有很大影响，探讨了提升不同提示格式一致性的方法。通过MMLU任务的分析，发现微小变化会导致模型性能波动，结构化生成可以提高提示的一致性和模型性能。初步结果令人鼓舞，但需要在更多模型和任务中验证。
延伸解读
提示格式的微小变化为何导致性能波动
文章指出，即使提示中仅改变选项的呈现方式（如是否包含选项、选项标记为A/B/C/D还是(A)(B)(C)(D)），模型的对数似然得分也会出现约10%的波动。例如Qwen1.5-7B在一种格式下准确率骤降至22.9%，而在另一种格式下高达51.2%。这种波动主要源于标记化差异，说明评估结果对提示格式高度敏感，模型排名可能因此不稳定。
结构化生成如何提升评估一致性
通过定义正则表达式约束模型输出结构，结构化生成能减少不同提示格式带来的性能差异。在GSM8K和GPQA任务中，结构化输出的准确率更高，且方差更小。例如GPQA上Mistral-7B-v0.1的非结构化平均准确率为0.2360，结构化提升至0.2935；Zephyr-7b-beta从0.2387提升至0.3048。同时，模型排名的一致性也得到改善。
对模型评估与比较的启示
由于提示格式和少样本顺序的微小变化就能导致模型排名颠倒，研究者和使用者需警惕评估设置的选择偏差。文章建议采用FormatSpread等工具量化方差，或引入结构化生成来稳定输出。但当前结论基于有限模型和任务，需在更多场景中验证。结构化生成可能成为未来评估流程的标准环节，以提高结果的可信度。
Q&A
Hugging Face的研究团队发现了什么关于提示格式的影响？
研究团队发现提示格式的微小变化对评估结果有很大影响，导致模型输出的不一致性。
什么是结构化生成，它如何提高模型性能？
结构化生成是指模型输出遵循特定结构的生成方式，它能够提升提示的一致性和模型性能。
在MMLU任务中，提示格式的变化对模型性能有什么影响？
在MMLU任务中，不同提示格式导致模型性能显著波动，表现出约10%的波动。
如何使用FormatSpread工具评估模型表现？
FormatSpread工具通过应用多种格式变体来评估每个模型，并计算模型表现的方差，从而提供更准确的评估。
结构化生成在不同n-shot设置中表现如何？
实验表明，结构化生成在不同n-shot设置中减少了性能差异，且表现优于非结构化生成。
研究者如何规范模型输出以提高基准测试表现？
研究者通过定义正则表达式来规范模型输出，从而提高基准测试的表现。
