TechWeb 全站精华
·
DeepSeek公布全新论文，梁文锋署名
💡
原文中文，约2800字，阅读约需7分钟。
📝
内容提要
DeepSeek发布论文《条件记忆》，提出将“条件记忆”作为大语言模型的新稀疏维度，以解决知识检索的低效问题。研究表明，结合条件记忆与混合专家（MoE）可显著提升模型性能，特别是在知识推理和代码生成方面。预计新模型DeepSeek V4将应用此技术，进一步增强AI竞争力。
🎯
关键要点
- DeepSeek发布论文《条件记忆》，提出将条件记忆作为大语言模型的新稀疏维度。
- 研究表明，结合条件记忆与混合专家（MoE）可显著提升模型性能，特别是在知识推理和代码生成方面。
- 论文提出U形扩展定律，建议将稀疏参数预算的20%-25%重新分配给Engram以获得最佳性能。
- Engram-27B模型在知识与推理、通用推理、代码与数学等领域均取得显著提升。
- DeepSeek计划于2025年春节前后发布新一代旗舰AI模型DeepSeek V4，预计将应用条件记忆技术。
- DeepSeek团队持续发布新模型，推动AI技术进步，预计DeepSeek V4将对AI竞争格局产生重大影响。
➡️
