➡️
继续阅读
-
趋境科技与摩尔线程达成战略合作,高品质 AI Token 国产异构方案性价比超越国际先进算力
趋境科技与摩尔线程达成战略合作,基于国产PD异构技术与MTT S5000智算卡,共建高品质AI Token工厂。方案已投产,性价比超越国际算力,实现超50...
-
DeepSeek-V4 模型结构(1):序列维度(上),从 MLA 到压缩 KV
本文介绍DeepSeek-V4的注意力机制,从MHA到CSA/HCA的演进,重点分析压缩KV缓存的方法。V4将每4或128个token压缩为一条512维K...
-
DeepSeek-V4 模型结构(0):一张图看懂 DeepSeek-V4
本文介绍DeepSeek-V4模型架构:Pro版总参数1.6T、61层,Flash版284B、43层,均采用4条残差流、交错CSA/HCA压缩注意力与Mo...
-
CD销量激增,实体媒体持续复兴
美国唱片业协会报告显示,2026年上半年CD销量达1750万张,同比增长45.7%,销售额增长58.6%至1.711亿美元,扭转了此前下滑趋势。黑胶唱片销...
-
Kimi K3 模型结构(7):结构决定系统
本文总结Kimi K3模型结构对训练与推理系统的影响。KDA采用三种执行形态(FlashKDA、设备内上下文并行、状态回滚)处理固定大小状态;上下文并行通...
-
Kimi K3 模型结构(6):输入端与零件,MoonViT-V2、MTP、Per-Head Muon
Kimi K3模型采用从零训练的MoonViT-V2视觉编码器,27层、patch14结构,支持高分辨率图像token化;MTP层预训练后微调为EAGLE...