敏感性与稀疏性:极端稀疏参数模式对大型语言模型心智理论的影响

📝

内容提要

本文研究大型语言模型中心智理论能力的出现,重点分析极端稀疏参数模式的作用。我们提出了一种新方法来识别对心智理论敏感的参数,结果表明,即使是0.001%的微小扰动也会显著降低这些模型的心智理论表现,影响上下文定位和语言理解。该研究为理解大型语言模型如何获得社会推理能力提供了深入见解,推动了人工智能可解释性与认知科学的结合。

🏷️

标签

➡️

继续阅读