LLM 能够正式对话吗？自动评估 LLM 在翻译和解释正式规范中的表现

利用大型语言模型 (LLMs) 将自然语言描述转换为形式化规范的能力进行了评估，提出了一种使用两个 LLMs 与现成验证程序结合的方法来自动评估其翻译能力，结果显示目前最先进的 LLMs 无法充分解决这个任务，限制了它们在复杂系统设计中的实用性。

本研究挑战了大型语言模型默认使用自然语言的做法，通过让模型自主选择表达形式，提高了推理效率和多智能体通信的有效性。研究发现，模型设计的通信格式与智能体通信语言相似，显示出向高效、结构化通信的自然演化。

llm 多智能体通信 推理效率 自然演化 语言模型 通信格式