DECIDER: 一种基于模仿双系统认知理论的规则可控解码策略
内容提要
本文综述了多种语言模型解码控制方法，包括NeuroLogic解码、鉴别器引导的树搜索、GRACE、对比解码及离策略强化学习等，无需微调即可控制主题、情感与推理，提升生成流畅性与准确性，并应用于机器人长视程任务。
延伸解读
无需微调的解码控制优势
文章综述的多种解码控制方法，如NeuroLogic解码、鉴别器引导的树搜索、GRACE、对比解码及离策略强化学习，均无需对语言模型进行微调。这降低了训练成本，并允许在推理时动态调整约束条件，为主题、情感和推理等控制目标提供了更灵活的应用方式。
对比解码在推理任务中的表现
对比解码在多个推理基准上显著优于贪婪解码，并在HellaSwag常识推理中胜过LLaMA 2、GPT-3.5和PaLM 2-L，在GSM8K数学词语推理中超过LLaMA 2、GPT-3.5和PaLM-540B。分析表明，它通过防止抽象推理错误和避免简单复制输入来改善生成质量。
GRACE提升多步推理准确性
GRACE方法使用判别模型调整语言模型的解码策略，在四个流行的数学推理基准测试中均比传统解码策略有显著改进。这表明基于步骤的解码控制能有效提高多步推理任务的准确性，为复杂推理场景提供了新思路。
机器人长视程任务的应用
文章提到一种利用大型语言模型进行机器人交互的方法，通过基于概率过滤的策略结合语言模型和物理环境模型，并指导解码策略，从而完成复杂的机器人长视程任务。这展示了解码控制在机器人领域的潜力，但具体实现细节和效果需进一步验证。
Q&A
NeuroLogic Decoding 算法有什么特点？
NeuroLogic Decoding 算法可以实现满足复杂词汇约束条件下的流畅文本生成，其性能优于以往算法，特别是适用于无监督训练的模型。
如何在不微调语言模型的情况下控制生成文本的主题和情感？
可以使用批判性解码方法，如鉴别器引导的树搜索、GRACE、对比解码等，这些方法无需微调即可控制主题、情感和推理，提升生成流畅性与准确性。
GRACE 方法在数学推理任务上的表现如何？
GRACE 在四个流行的数学推理基准测试中均表现出显著的改进，相比传统解码策略提高了多步推理的准确性。
对比解码在推理任务中有什么优势？
对比解码生成的文本在各种推理任务中相比贪婪解码有显著提升，在 HellaSwag 常识推理基准测试中胜过 LLaMA 2、GPT-3.5 和 PaLM 2-L，在 GSM8K 数学词语推理基准测试中超过 LLaMA 2、GPT-3.5 和 PaLM-540B，同时在其他任务中也有进步。
控制解码（CD）如何应用于语言模型的对齐？
CD 通过一种用于奖励的值函数（前缀评分器）解决离策略强化学习问题，在推断时间引导生成以实现更高回报结果。它在 Reddit 会话语料库上有效，并能以分块方式在推断时间应用，无需训练时间更改，从而填补最优 K 策略和标记级强化学习之间的差距，有望实现语言模型的对齐。
大型语言模型如何用于机器人长视程任务？
通过利用大型语言模型进行机器人交互，引入基于概率过滤的策略来采用语言模型和基于物理环境的模型两者的优势，通过指导解码策略可以实现复杂的机器人长视程任务。
