Kimi K3是2.78T参数、104.2B激活的93层MoE模型，支持1M上下文及图像视频输入。其结构创新分三方面：序列用KDA与Gated MLA混合，深度引入Attention Residuals，宽度采用Stable LatentMoE，并配视觉编码器MoonViT-V2。相比K2，扩展效率提升约2.5倍。文章详解层排布、维度配置及前向流程，为后续技术解读奠定基础。

这篇文章讨论了语言模型（LLMs）在理解否定时的问题。LLMs在处理否定句时表现不佳，无法正确理解否定的含义。人类在处理否定句时表现更好。通过技巧和训练，LLMs的性能可以提升。作者认为，LLMs和人类的认知能力是不同的，但通过架构创新可以逼近人类的认知复杂性。