LLM 能够正式对话吗？自动评估 LLM 在翻译和解释正式规范中的表现
内容提要
最近研究表明，大规模语言模型（LLMs）在理解逻辑形式方面接近人类水平，但生成能力仍需改进。提出的“Formal-LLM”框架结合自然语言和形式语言，提高了规划的有效性。此外，LLMs在自动评估和推理任务中表现出独特的偏见，翻译自然语言目标时效果更佳。
延伸解读
LLM在形式语言理解与生成上的不对称性
文章指出，当前最先进的大规模语言模型在理解逻辑形式方面已接近人类水平，但在生成正确逻辑形式方面仍有明显不足。这种理解与生成能力的不对称意味着，在实际应用中，LLM更适合作为形式语言的解析器或验证辅助工具，而非直接生成复杂逻辑形式的可靠来源。读者在部署相关系统时，需对模型生成的形式化输出保持审慎，并考虑引入外部验证机制。
形式语言友好度：越接近自然语言越易处理
实验表明，LLM对不同形式语言表现出显著敏感性，形式化程度较低、更接近自然语言的形式语言对模型更友好。这一发现提示，在设计需要LLM参与的形式化任务时，可以优先选择或设计更贴近自然语言表达的形式语言，以降低模型处理难度。同时，这也解释了为何LLM在翻译自然语言目标时效果更佳，而在涉及数字或物理推理的任务中容易失败。
Formal-LLM框架：结合自然语言与形式语言的优势
针对LLM生成逻辑形式能力不足的问题，文章介绍了Formal-LLM框架，它通过结合自然语言的表现力和形式语言的准确性，使规划过程具有控制性，从而防止代理生成无效计划。实验显示该框架在任务性能上取得超过50%的整体提升。这表明，在规划有效性至关重要的场景中，将LLM与形式化方法结合，而非单纯依赖LLM，是更可行的路径。
LLM推理的独特偏见与人类差异
文章提到，LLM在演绎推理任务中表现有限，且更改展示格式和内容并未显著提高整体性能，反而发现性能与展示格式以出人意料的方式相互作用，与人类表现不同。这说明LLM具有独特的推理偏见，只能部分预测人类推理表现。因此，在评估LLM推理能力时，不能简单套用人类认知标准，而需针对其特性设计评估方法。
Q&A
大规模语言模型在理解逻辑形式方面的表现如何？
大规模语言模型在理解逻辑形式方面接近人类水平，但在生成正确逻辑形式方面仍需改进。
什么是Formal-LLM框架，它有什么优势？
Formal-LLM框架结合自然语言和形式语言，提高了规划的有效性，实验显示性能提升超过50%。
LLMs在自动评估和推理任务中表现出什么样的偏见？
LLMs在自动评估和推理任务中表现出独特的偏见，尤其在翻译自然语言目标时效果更佳。
LLMs如何提高推理效率和多智能体通信的有效性？
通过让语言模型自主选择最合适的表达形式，LLMs可以提高3.3%至5.7%的推理效率，并减少多智能体通信中的记号使用。
LLMs在处理非自然语言表达时的表现如何？
LLMs在处理非自然语言表达时可以提高推理效率，并在多智能体通信中表现出更高的有效性。
LLMs在展示格式和内容变化下的性能表现如何？
LLMs在展示格式和内容变化下的性能未显著提高，显示出与人类推理表现的差异。
