从形式到含义：利用多义一致性探测语言模型的语义深度
内容提要
本文探讨了大型语言模型（LLMs）的理解能力，提出通过多语言一致性评估其性能。研究发现，LLMs在不同语言和任务中的一致性不足，理解力依赖于所用语言。文章强调理解不仅是语法操作，还涉及语义，并指出当前LLMs在常识推理方面存在显著差异，提出了评估模型理解力的新方法。
延伸解读
多语言一致性作为理解力标尺
文章提出通过评估LLM在不同语言中的一致性来检验其理解能力，并以ChatGPT为例，在三种语言和两个任务上进行了测试。结果显示，模型的多语言一致性不足，其任务和世界理解力很大程度上取决于所使用的语言。这种方法无需其他语言的静态评估集，可轻松、廉价地推广到不同语言和任务中，有望成为未来基准评估的重要组成部分。
语义一致性度量优于传统方法
文章引用的研究表明，传统的基于词汇一致性的度量标准在评估模型语义一致性时不够可靠。相比之下，基于语义一致性的度量标准与人类评估输出一致性的程度更为相关。例如，在TruthfulQA数据集上的评估发现，语义一致性度量比词汇一致性度量更可靠。这提示我们，在评估LLM理解力时，应重视语义层面的一致性，而非仅关注表面词汇匹配。
常识推理仍是LLM的短板
文章指出，当前LLM在常识推理方面存在显著差异。例如，WorldSense基准测试显示，即使只有三个对象，最先进的聊天LLM（如GPT-3.5、GPT-4和Llama2-chat）也会出错，且存在响应偏差，无论问题如何都偏好特定响应。思维链提示和上下文学习也无法消除这些错误。这表明，尽管LLM能生成流畅文本，但在维持隐式世界模型和进行简单推理方面仍有明显局限。
Q&A
如何评估大型语言模型的理解能力？
通过评估其在不同语言中的一致性来评估理解能力。
大型语言模型在不同语言中的表现如何？
研究发现，LLMs在不同语言和任务中的一致性不足，理解力依赖于所用语言。
当前大型语言模型在常识推理方面存在哪些问题？
当前LLMs在常识推理方面存在显著差异，理解和推理能力仍需改进。
文章提出了什么新的评估方法？
提出了一种通过语义一致性的综合度量来评估模型理解力的新方法。
大型语言模型的理解能力是否仅依赖于语法？
理解不仅是语法操作，还涉及语义，LLMs使用语法和语义来理解语言。
如何提高大型语言模型在文本生成和问答中的性能？
通过引入语义一致性的综合度量和提出的问询策略来提高性能。
