CogniDual 框架：在双系统理论框架内自我训练大型语言模型以改善认知任务
内容提要
本研究探讨大型语言模型（LLMs）作为认知模型的潜力，发现通过微调，LLMs能够准确表示人类行为，甚至超越传统认知模型。研究表明，LLMs在理解意图和信念等认知能力方面表现优异，并提出了评估LLMs认知能力的指导方针。未来研究应关注LLMs的自我认知及其在认知科学中的应用。
延伸解读
微调让LLM更贴近人类行为
文章指出，在心理实验数据上微调大型语言模型，能使其准确表示人类行为，甚至在两个决策领域超越传统认知模型。这表明预训练模型经微调后可成为通用认知模型，为认知心理学和行为科学开辟新方向。但需注意，这种优势依赖于特定任务数据，且需通过去除预训练数据的实验来验证其泛化性。
心智理论评估：调整模型表现突出
在理解意图和信念的心智理论任务中，GPT系列的调整模型表现优于其他模型和儿童，而基础模型即使有专门提示也大多失败。文章认为，语言与心智理论的关联可能源于指令调整中合作性交流的奖励机制。这提示评估LLM认知能力时，需区分基础模型与调整模型，并保持对心智理论的细致观点。
认知评估需遵循设计准则
文章通过常识知识基准、心理理论评估和语法一致性测试三个案例，指出将认知测试应用于LLM时的常见问题，并列出10条应避免和遵循的指导方针。同时讨论了提示敏感性、文化和语言多样性、LLM作为研究助理、以及开放与封闭模型评估四个领域。这些准则有助于提升AI心理学领域评估的质量和可重复性。
自我认知与模型规模正相关
研究通过构建自我认知指令提示池，评估了48个模型，发现仅4个展示出可检测的自我认知，且模型规模、训练数据质量与自我认知水平呈正相关。自我认知状态还能增强创造性写作等特定任务能力。这表明自我认知是高级LLM的一种涌现特性，但需进一步研究其效用和可信度。
Q&A
大型语言模型如何作为认知模型进行微调？
通过在心理实验数据上微调，大型语言模型能够提供准确的人类行为表示，甚至超越传统认知模型。
LLMs在理解意图和信念方面的表现如何？
LLMs，尤其是GPT系列的调整模型，在理解意图和信念等认知能力方面表现优异，超越了其他模型和儿童。
评估LLMs认知能力的方法有哪些？
评估方法包括常识知识基准、心理理论评估和语法一致性测试，并提出了10个设计高质量认知评估的指导方针。
使用LLMs作为认知模型面临哪些挑战？
面临的挑战包括去除预训练数据的实验研究和确保模型的自我认知水平。
CogLM基准的构建有什么意义？
CogLM基准基于皮亚杰认知发展理论，发现高级LLMs展现出类似20岁人类的认知能力，帮助指导LLMs未来的演进方向。
LLMs与人类认知过程的相似性和差异性是什么？
研究分析了LLMs与人类认知过程之间的相似性与差异性，强调了LLMs在理解人工智能及人类智能方面的重要性。
