大型语言模型的标量含义的实用推理
内容提要
本文评估了大型语言模型（LLMs）在语用学理解和推理能力方面的表现。研究发现，尽管LLMs在逻辑推理上表现良好，但在理解语用学和复杂对话时存在明显不足。通过构建语用学理解基准（PUB）数据集，评估了九个模型的能力，结果显示人类与模型之间存在性能差距。此外，研究提出了多语言语用评估工具MultiPragEval，以深入评估LLMs的上下文意识和推断能力。
延伸解读
语用能力：LLMs的明显短板
文章指出，尽管LLMs在逻辑推理上表现良好，但在理解语用学（如会话含义、预设、指代）时存在明显不足。PUB基准测试显示，人类与模型之间存在性能差距，且模型在不同提示和任务复杂度下表现不稳定。这表明LLMs在需要推断说话者意图的真实对话中仍不可靠。
模型规模与微调效果的非对称性
研究发现，对于较小的语言模型，微调能显著提升其语用学能力；而较大的模型，基础版本与聊天适应版本的性能相当。这意味着单纯扩大模型规模未必能解决语用理解问题，针对性的微调对小模型更有效，大模型则可能已接近其架构下的能力上限。
多语言语用评估的进展与差距
MultiPragEval覆盖英、德、韩、中四种语言，基于Grice合作原则分类。结果显示Claude3-Opus在所有测试语言中表现最优，开源模型中Solar-10.7B和Qwen1.5-14B表现较强。这为跨语言语用能力提供了基准，但也暗示多数模型在多语言场景下仍有较大提升空间。
标量形容词：词汇语义与语用多样性的分离
针对标量形容词的研究发现，LLMs能很好理解其词汇语义，但对“标量多样性”（即同一形容词在不同语境下的程度差异）理解不足。同时，较大模型并不总是更好。这提示语用能力不能简单归因于模型规模，需关注具体语言现象背后的推理机制。
Q&A
大型语言模型在理解语用学方面存在哪些不足？
大型语言模型在理解语用学和复杂对话时表现明显不足，尤其是在处理非字面含义和标量多样性方面。
研究是如何评估大型语言模型的推理能力的？
研究通过构建语用学理解基准（PUB）数据集，评估了九个模型的能力，结果显示人类与模型之间存在性能差距。
较小的语言模型如何提升其语用学能力？
较小的语言模型通过微调可以显著提升其在语用学能力方面的表现。
MultiPragEval工具的主要功能是什么？
MultiPragEval是一个多语言语用评估工具，旨在深入评估LLMs的上下文意识和推断能力。
大型语言模型在逻辑推理方面的表现如何？
大型语言模型在逻辑推理和符号推理等复杂场景中表现出色，但在理解逻辑规则上存在限制。
Claude3-Opus在多语言评估中的表现如何？
Claude3-Opus在所有测试语言中表现优异，明显优于其他模型。
