大型语言模型是否反映认知语言处理?
内容提要
大型语言模型在文本理解、规划和记忆上表现出与人类相似的类人偏差,高性能模型的分层处理更接近人脑;但在情感理解、比喻处理和物理常识等功能性语言能力上存在不足,且推理中会出现不同于人类的不一致行为。
延伸解读
LLMs与人类认知的相似性:分层处理与脑相似性
文章指出,随着LLMs在基准任务上性能提高,其分层特征提取路径与大脑映射更密切,且使用更少层进行相同编码。高性能模型在层次化处理机制上趋同,上下文信息能提升模型性能和与大脑相似性。这表明LLMs在文本理解和规划步骤中表现出类似人类的偏差,为开发更接近人类认知的模型提供了方向。
LLMs在功能性语言能力上的不足
尽管LLMs在正式语言能力任务上表现令人印象深刻,但在需要功能语言能力的测试中失败,如情感理解、比喻语言处理和物理常识。研究通过细化调整发现,调整后的模型在这些任务中与人类大脑反应更一致,差异可能源于模型对这些特定类型知识的不足表示。
LLMs推理中的不一致性与潜在问题
LLMs在合理推理中显示出人类偏见和不合理行为,但这种不合理行为与人类不同,且存在额外的回答不一致性。此外,论文调查了LLMs的八个潜在问题,包括不可预测行为、行为引导技术不可靠、内部解释困难等,提示与LLMs的简短交往经常是误导性的。
Q&A
大型语言模型在哪些方面表现出与人类相似的认知偏差?
大型语言模型在文本理解和解决方案规划步骤中表现出类似人类的偏差,但在解决方案执行过程中没有类似的偏差。
大型语言模型在记忆特性上与人类记忆有何相似之处?
大型语言模型的记忆特性与人类记忆的关键特征存在惊人的相似性,这暗示人类记忆的生物特征影响了文本叙述的构建方式。
高性能大型语言模型在分层处理机制上是否更接近人脑?
是的,随着LLMs在基准任务上性能的提高,它们不仅表现出更高的脑部相似性,而且分层特征提取路径与大脑的映射更为密切,使用较少的层进行相同的编码。高性能模型在层次化处理机制方面更多地趋同。
大型语言模型在哪些功能性语言能力上存在不足?
大型语言模型在情感理解、比喻语言处理和物理常识等三个现象上未能很好地捕捉,这些是功能性语言能力的重要方面。
大型语言模型在推理中会出现哪些与人类不同的不一致行为?
大型语言模型在合理推理中显示出人类的偏见和不合理行为,但这种不合理行为与人类不同,且存在额外的回答不一致性。
大型语言模型在正式语言能力和功能语言能力上的表现有何差异?
大型语言模型在正式语言能力的任务上表现出令人印象深刻(虽然不完美)的能力,但在需要功能能力的许多测试中失败了。