口述：通过符号转语言转换解决与符号相关的问题
内容提要
该文综述大语言模型与符号求解器结合的研究：将自然语言问题逐步规范化为变量和方程后交由符号求解器求解，在代数问题上较PAL提升20%；Symbol-LLM通过注入符号知识平衡符号与自然语言能力；SYRELM用强化学习生成形式化表达式；Logic-LM先转符号形式再确定性求解并自我精炼，显著提升逻辑推理；此外还有生成可验证方案、自提示提高符号准确性、生成程序交由运行时执行、元推理类比学习及神经符号转换逻辑谜题等方法。
延伸解读
符号求解器弥补LLM代数短板
文章指出，将自然语言问题逐步规范化为变量和方程后交由符号求解器求解，在代数类问题上较PAL提升20%。这提示读者：LLM擅长理解题意，但精确计算和符号操作仍是弱项，引入外部求解器可显著提升可靠性。不过该方法依赖规范化步骤的准确性，若变量或方程提取有误，求解器也无法纠正。
符号与自然语言能力的平衡难题
Symbol-LLM系列通过收集符号任务并注入符号知识，试图解决符号间关系以及符号中心与自然语言中心能力平衡的挑战。实验表明该系列在两类任务上表现平衡且优越。这反映出单纯扩大自然语言训练并不自动带来符号能力，需要针对性注入符号知识，但文章未说明注入方式的具体代价或泛化边界。
形式化转换与自我精炼提升逻辑推理
Logic-LM先让LLM将自然语言问题转为符号形式，再进行确定性符号求解，并加入自我精炼阶段修正符号形式。在ProofWriter、PrOntoQA、FOLIO和LogicalDeduction四个逻辑推理数据集上，该方法较仅用LLM显著提升性能。这说明逻辑推理的瓶颈常在形式化转换，而非最终求解；自我精炼能缓解转换错误，但效果受限于初始符号形式的正确程度。
多种神经符号路线各有侧重
文章还列举了SYRELM用强化学习生成形式化表达式、生成程序交由运行时执行、自提示提高符号准确性、元推理类比学习以及神经符号转换逻辑谜题等方法。这些路线共同表明，LLM与符号组件的分工方式多样：有的侧重生成中间形式，有的侧重委托执行。读者应注意，各方法报告的性能提升均基于特定数据集，跨任务迁移能力尚需进一步验证。
Q&A
大语言模型和符号求解器结合能解决哪些类型的问题？
可以解决代数类问题、逻辑推理问题、算术推理问题、数学数值问题、符号推理任务、逻辑谜题以及基于文本的游戏中的符号挑战等。
将自然语言问题逐步规范化为变量和方程的方法相比PAL有什么优势？
在解决代数类问题上性能提升了20%。
Symbol-LLM系列模型主要解决了大语言模型的什么挑战？
解决了大型语言模型面临的符号间关系和符号中心与自然语言中心能力平衡的挑战。
SYRELM架构是如何实现算术推理的？
SYRELM采用符号求解器将自然语言算术问题转化为形式化语言描述，然后通过一个小型冻结的LM生成包含自然语言描述的形式化表达式，并通过策略梯度强化学习训练适应的LM，从而实现合理的算术推理。
Logic-LM框架在逻辑推理任务上的效果如何？
在ProofWriter、PrOntoQA、FOLIO和LogicalDeduction四个逻辑推理数据集上，与仅使用大型语言模型相比，Logic-LM可以显著提高逻辑推理的性能。
元推理（Meta-Reasoning）方法如何提升大语言模型的推理能力？
元推理通过符号解构，最大限度地将某些推理任务的不同问题转化为类似的自然语言表达式，从而使得大语言模型能够通过类比学习和促进数据有效的上下文学习，显著提高推理能力。GPT-3 (text-davinci-002) 在使用一个元推理演示的情况下可以达到超过99％的准确率。
