Kimi K3模型采用从零训练的MoonViT-V2视觉编码器，27层、patch14结构，支持高分辨率图像token化；MTP层预训练后微调为EAGLE-3投机解码draft模型；Per-Head Muon优化器按头正交化动量矩阵，提升训练稳定性。词表大小163840，采用稠密层设计，强调结构选择对系统设计的影响。