➡️
继续阅读
-
我们花了一周时间测试IFA上最棒(也最奇特)的科技产品,欢迎提问
IFA 2026柏林展会上,The Verge编辑测试了众多科技产品,涵盖智能家居、手机、手表等。他们正为订阅者举办问答活动,解答关于飞利浦Hue灯、Eu...
-
千问办公上线首月用户数突破 3000万,企业用户占比过半
阿里旗下千问办公上线一个月用户破3000万,企业用户过半。产品高频迭代,推出国际版并开源MyContext技术,与钉钉深度打通。发布专属模型提升性能,单任...
-
DeepSeek-V4 模型结构(5):宽度维度,DeepSeekMoE 的四个改动
本文介绍DeepSeek-V4模型结构中MoE层的四处改动:路由打分从sigmoid改为sqrt(softplus)以消除饱和;前三层用固定hash ro...
-
DeepSeek-V4 模型结构(4):深度维度,mHC
该文详解DeepSeek-V4的mHC残差结构:将单条残差流拓宽为4条,通过读、写、混三算子连接子层。为保稳定,混合矩阵被约束为双随机矩阵(非负、行和列和...
-
DeepSeek-V4 模型结构(3):序列维度(下),HCA、混合排布与零件
本文详解DeepSeek-V4模型结构:HCA将128个token压缩为一条目,无需稀疏选择;CSA与HCA交错排布,确保全局信息不丢失;滑窗分支弥补压缩...
-
DeepSeek-V4 模型结构(2):序列维度(中),Lightning Indexer 与稀疏选择
本文介绍DeepSeek-V4模型中的压缩稀疏注意力(CSA)机制。KV缓存每4个token压缩为一条,1M上下文仍有26万条目,故用lightning ...