通过上下文敏感语法的高效左右商运算对编码语言模型进行约束解码
内容提要
该文综述多项研究，涵盖形式语法约束解码提升大模型结构化输出、左角解析器归纳语法、线性无上下文重写系统实现无监督不连续解析、增量成分解析器、从左到右语义解析器、PICARD增量约束解码提升文本到SQL、隐马尔可夫模型中上下文无关文法概率计算、复合概率上下文无关文法无监督语法归纳、从句并行解码提升解析器性能，以及词汇化文法模型提升解析精度。
延伸解读
形式语法约束解码的适用场景
文章指出，在缺乏训练数据或后调成本较高的场景下，采用基于形式语法的约束解码能有效提升模型生成结构化输出的能力。这意味着当任务要求输出符合特定语法结构（如信息提取中的复杂结构）时，该方法可以作为一种低成本且可靠的替代方案，尤其适合标注数据稀缺的领域。
左角解析与语法归纳的局限
文章提到，基于概率的左角解析器在从宾州树库归纳语法时，相比自顶向下的概率上下文无关文法具有优势，但宾州树库括号的平坦性以及归纳语法明显的过度生成和欠生成问题，使其成为一个较弱的测试平台。这提醒研究者在评估语法归纳方法时，需注意语料库特性对结论的影响。
PICARD在文本到SQL中的实际效果
文章介绍PICARD通过增量解析约束自回归语言模型解码器，在需要时拒绝不合法令牌。在Spider和CoSQL的文本到SQL任务中，PICARD将微调后的T5模型转化为业界领先的解决方案。这表明增量约束解码能显著提升结构化生成任务的性能，且不依赖模型架构的大幅改动。
从句并行解码提升解析器性能
文章提到，通过采用基于从句的并行解码和对齐丢失，可以增强RATSQL和LGESQL两个高性能语法解析器，在准确性和解码速度上均取得一致提升。这为解析器优化提供了实用方向：在不改变模型核心结构的情况下，利用并行化解码策略即可获得效率与精度的双重收益。
Q&A
基于形式语法约束的解码方法在哪些任务中有效？
在信息提取和实体消歧任务中，该方法能保证生成的符号序列具有语法正确性，尤其在缺乏训练数据、后调昂贵的场景下，能有效提升模型生成结构化输出的能力。
左角解析器相比自顶向下的概率上下文无关文法有什么优势？
左角方法在解析从宾州树库感应的语法时具有优势，但宾州树库的平坦括号和感应语法的过度生成/欠生成使其测试平台较弱。
PICARD方法如何提升文本到SQL的翻译性能？
PICARD通过增量解析约束自回归语言模型解码器，在需要时拒绝不合法令牌，将微调后的T5模型在Spider和CoSQL任务上转化为业界领先的解决方案。
如何计算隐马尔可夫模型中上下文无关文法的概率？
文章提出了一种算法，用于计算一类非二义性上下文无关文法的概率，并给出了可用于多项式绑定的二义性上下文无关文法概率的随机多项式算法。
复合概率上下文无关文法如何实现无监督语法归纳？
将句子建模为由复合概率上下文无关文法生成，规则概率由每个句子的连续潜变量调制，通过折叠变分推理和动态规划边际化潜在树，在英语和中文的无监督语法分析评估中优于最新方法。
从句并行解码如何提升语法解析器的性能？
通过基于从句的并行解码和对齐丢失，增强RATSQL和LGESQL解析器，在准确性和解码速度上均取得一致提升。
