DeepSeek-V4.1 在第1、14层引入 Engram 条件记忆:按 token 的 2/3/4-gram 哈希查表,用中国剩余定理以 8 个头区分 n-gram,经门控加入残差流。两张表共 196B 参数,FP8 存储,不占激活参数。相比原版去掉因果卷积、改用 Sinkhorn 更新,推理与事实问答提升明显。
完成下面两步后,将自动完成登录并继续当前操作。