一分钟读论文：《字段顺序决定结构税交多少》
内容提要
PayPal AI 的论文《结构税》被 AACL IJCNLP 2026 接收。研究重新审视强制大模型按 JSON/XML 输出导致的精度损失，发现根源在于字段顺序而非结构本身：当推理字段排在答案字段之前时，两个开权重小模型在 GSM8K 上的准确率从 10.98% 回升至 83-87%。机制是自回归生成中答案 token 过早确定。结论：将推理字段置于答案字段之前即可，无需更换模型或增加开销。
延伸解读
字段顺序：被忽视的性能杠杆
论文揭示，强制结构化输出导致的精度损失主要源于字段顺序，而非结构本身。将推理字段置于答案字段之前，能显著提升模型表现，甚至匹配自由文本输出。这意味着在生产系统中，调整JSON schema的字段顺序可能是一种零成本的优化手段，无需更换模型或增加计算开销。
极端性能下降的特定条件
10.98%的准确率暴跌仅在四个条件同时满足时出现：GSM8K数据集、XML格式、答案字段在前、以及Llama-3.1-8B或Gemma3-4B模型。这一发现强调，引用该数据时必须明确上下文，避免过度泛化。同时，它提醒工程师在特定任务和模型组合下需格外注意字段顺序。
自回归生成中的答案承诺机制
由于模型逐token生成，答案字段前置会迫使模型在推理前就确定答案，导致后续推理仅为迎合已选答案。这种过早承诺是性能下降的根因。推理优先的顺序则符合自然生成过程，让模型先思考再作答，从而提升准确率。内部表征和校准误差的改善也支持这一机制。
实践建议：调整字段顺序
基于论文结论，工程师应在设计JSON schema时，将推理或依据字段放在最终答案字段之前。这一改动无需额外成本，却能有效缓解结构税。对于依赖结构化输出的生产系统，字段顺序应成为标准实践，而非事后考虑。
Q&A
什么是“结构税”？
结构税指强制大语言模型按 JSON 或 XML 等固定格式作答时带来的精度下降。此前普遍认为这是使用结构化输出的固有成本，但该论文发现根源在于字段顺序，而非结构本身。
为什么字段顺序会影响大模型的准确率？
因为模型是自回归生成，只能逐 token 往后写。如果答案字段排在推理字段之前，答案 token 会在任何推理内容写出来之前就被确定，相当于强迫模型先押注答案再补写过程，导致准确率下降。
在 GSM8K 上，字段顺序调整后准确率变化有多大？
在 GSM8K 数据集、XML 格式、答案字段排在推理字段之前的条件下，两个开权重小模型（Llama-3.1-8B 和 Gemma3-4B）准确率跌至 10.98%；而将推理字段放在答案字段之前，准确率回升到 83-87%。
论文做了哪些实验来验证结论？
论文用五个模型（GPT-4o、Gemini-Flash-2.0、Claude-Sonnet-4.5、Llama-3.1-8B、Gemma3-4B）和四个数据集（GSM8K、MMLU、LogicBench、Spider）进行全交叉实验，并针对提示词表面变体重跑，结果稳定。
对于必须使用结构化输出的生产系统，有什么可操作的建议？
在给模型的 JSON schema 中，把推理或依据字段放在最终答案字段之前。不需要更换模型或增加推理开销，只需调整字段声明顺序。
结构税的大小与任务类型有什么关系？
格式敏感度与任务自身对答案结构的约束成反比：答案被题目约束得越死的任务，字段顺序能造成的差距越小。
