LLMs and the "Not" Problem
内容提要
这篇文章讨论了语言模型（LLMs）在理解否定时的问题。LLMs在处理否定句时表现不佳，无法正确理解否定的含义。人类在处理否定句时表现更好。通过技巧和训练，LLMs的性能可以提升。作者认为，LLMs和人类的认知能力是不同的，但通过架构创新可以逼近人类的认知复杂性。
延伸解读
否定处理：LLM与人类的认知差异
文章指出，LLM在理解否定句时表现不佳，如BERT对“A robin is not a ____”的补全仍倾向于“bird”，而人类在EEG研究中初期也依赖联想关系，但反思后能正确判断真值条件。这表明LLM的预测机制与人类语言理解不同，人类能进行更深层的真值条件分析。
提升LLM否定理解的实用技巧
作者通过亲身经历发现，使用正面指令（如“生成一幅仅以机器人手持选票为主题的水彩素描”）比直接否定（如“不要国旗”）更有效。此外，思维链提示、中间推理步骤和暂停符训练等方法也能提升LLM在否定任务上的表现，这些技巧可作为改善模型输出的实用策略。
从系统1到系统2：LLM的反思能力
文章借用卡尼曼的双系统理论，将LLM的初始否定处理类比为人类快速的系统1，而通过逐步推理或暂停符训练，LLM可展现出类似系统2的反思能力。然而，这些方法仍与人类认知不同，应视为架构创新，旨在逼近人类认知复杂性，而非等同。
评估LLM能力：情境比断言更重要
作者强调，断言LLM是否“理解”否定过于简单化。更精确的做法是探究不同情境或输入如何影响其行为。LLM和人类都不是单一实体，其表现随任务和时间变化，因此应关注具体条件下的行为，而非笼统判断能力。
Q&A
语言模型在理解否定句时存在哪些问题？
语言模型在理解否定句时表现不佳，无法正确理解否定的含义，往往依赖于统计线索而非真实条件。
人类如何处理否定句与语言模型有何不同？
人类在处理否定句时表现更好，能够更准确地理解否定的含义，并且在时间压力下也能依赖快速的启发式处理。
如何提高语言模型在处理否定句时的表现？
通过技巧和训练，尤其是逐步推理或使用中间步骤，可以提升语言模型在处理否定句时的性能。
否定句的处理涉及哪些真值条件？
否定句的处理涉及到真值条件，语言模型在这方面的表现与人类不同，通常无法准确判断否定句的真假。
研究表明语言模型在处理否定句时的表现如何？
研究表明，语言模型在处理否定句时往往无法正确预测与否定相关的词汇，表现不如人类。
如何理解语言模型与人类认知能力的差异？
语言模型和人类的认知能力存在差异，语言模型主要依赖统计线索，而人类能够理解句子的真实条件。
