DeepSeek V3.2 通过引入“系统 2”推理机制,重构了大型语言模型的解码策略,强调实时计算和思维链生成。其核心技术包括稀疏注意力机制和强化学习,提升了模型在复杂任务中的表现,标志着人工智能向理性智能体的演进。
思维分为系统1和系统2:系统1快速直觉,易受偏见影响;系统2理性缓慢,消耗认知资源。有效决策需合理分配资源,减少无效消耗,通过习惯、环境和外部建议优化判断。理解这两种系统有助于提升决策质量。
本文探讨了DeepSeek如何结合系统1(快速直观)与系统2(深思熟虑)思维来优化模型。系统1通过模式匹配快速响应,而系统2则通过逻辑推理处理复杂问题。两者结合提升了DeepSeek在推理生成和路径评估上的效率,增强了模型的决策能力。
Meta FAIR团队提出Dualformer,一种受人类认知理论启发的新型Transformer架构。它结合快速直觉的系统1和深思熟虑的系统2,通过随机化推理轨迹训练,在推理时选择快速或慢速模式,提高效率和能力。实验显示,Dualformer在迷宫和推箱子任务中优于基线模型,并在数学推理中表现更高效。
生成式AI革命后,AI研究从快速反应转向深度推理,推动智能应用发展。微软和谷歌主导市场,推理层成为新焦点。OpenAI的Strawberry模型具备通用推理能力。AI需从系统1进化到系统2。应用层公司通过定制认知架构创新,AI正转型为“服务即软件”。投资者关注应用层,推理研究将继续影响AI发展。
研究人员通过将AI的“慢思考”结果蒸馏进“快思考”,使Llama2的表现提升了257%,超过了GPT4,同时降低了推理成本。他们使用了四种不同的系统2方法进行微调,发现这种模式使系统1模型的表现大幅提升,甚至超过了真正的系统2模型。这种蒸馏方法在实时交互和移动设备部署等场景下具有优势。
完成下面两步后,将自动完成登录并继续当前操作。