➡️
继续阅读
-
Kimi K3 模型结构(3):序列维度,Gated MLA 与 3:1 混合
本文介绍Kimi K3模型结构:采用3:1混合,每四层含一层Gated MLA(无位置编码、满秩sigmoid门),其余为KDA层。MLA低秩压缩KV至5...
-
Kimi K3 模型结构(2):序列维度(下),chunkwise 并行与下界衰减
本文介绍Kimi K3模型序列维度的chunkwise并行算法:将序列分块,块间递推状态、块内用矩阵乘并行计算。K3将每步log-decay加−5下界,使...
-
Kimi K3 模型结构(1):序列维度(上),从线性注意力到 KDA
本文介绍Kimi K3模型中KDA(Kimi Delta Attention)的递推形式,从线性注意力、DeltaNet到Gated DeltaNet演进...
-
24.99 万元起、全系四激光雷达,启境 GX7 还准备了一件「午休神器」
启境GX7开启预售,共三款车型,售价24.99万至31.19万元,均搭载华为乾崑智驾系统,配备四激光雷达。车辆特色为20秒电动成床功能,无需额外铺床垫。提...
-
Kimi K3 模型结构(6):输入端与零件,MoonViT-V2、MTP、Per-Head Muon
Kimi K3模型采用从零训练的MoonViT-V2视觉编码器,27层、patch14结构,支持高分辨率图像token化;MTP层预训练后微调为EAGLE...
-
EP224:MCP与RAG及AI代理的对比
本文介绍MCP、RAG与AI Agent的区别:MCP是连接AI与外部工具的标准协议;RAG通过检索外部数据提供最新答案;AI Agent能自主决策执行任...