DeepSeek注意力结构历经六轮迭代：MHA为基线，GQA减少KV头数，MLA将KV低秩压缩至576维latent，DSA用indexer选top-2048条以节省算力，CSA每4个token压缩并做块级检索，HCA压缩率达128且免检索，CSA2跨层共享KV并降至FP4。核心是逐代削减KV cache或注意力计算量，KV cache从V1的480KiB降至V4.1的890B。

本文介绍DeepSeek-V4的注意力机制，从MHA到CSA/HCA的演进，重点分析压缩KV缓存的方法。V4将每4或128个token压缩为一条512维KV向量，采用重叠窗口和逐通道softmax加权，K与V共享单头，配合分组输出投影降低参数。相比前代，V4首次压缩缓存条目数，以支持1M上下文的高效推理。

本文介绍Kimi K3模型结构：采用3:1混合，每四层含一层Gated MLA（无位置编码、满秩sigmoid门），其余为KDA层。MLA低秩压缩KV至576维/token，KDA状态固定约232MB。3:1比例经实验选为质量与吞吐平衡点，1M上下文时KV cache约27.6GB，decode速度约为纯MLA的2.2倍。

DeepSeek通过系统级创新，用2048块H800和557.6万美元完成训练，成本仅为GPT-4o的二十分之一。它未发明新技术，但优化了MLA压缩KV缓存、MoE专家激活、FP8混合精度训练、DualPipe计算通信重叠等六项技术，显著降低内存和算力消耗，提升效率，突破芯片限制。

Kimi K3采用KDA与MLA混合注意力架构，引入循环状态缓存，改变传统KV缓存语义。Mooncake与SGLang、vLLM、TokenSpeed合作，实现KDA感知的检查点管理、跨实例缓存复用及统一数据传输平面，支持百万级长上下文推理，降低冗余计算，提升多轮对话和智能体任务效率。

DeepSeek-V3.2引入了稀疏注意力机制（DSA），优化了长文本处理的效率。通过闪电索引器和细粒度选择机制，DSA减少了计算量并提升了模型性能。该版本在持续预训练和后训练中结合专家蒸馏和强化学习，显著提高了推理效率和稳定性。

多头潜在注意力（MLA）是一种新型注意力机制，旨在降低计算成本和内存使用。通过低秩近似，将大矩阵分解为两个小矩阵，从而提高推理速度。MLA在推理时使用共享的压缩矩阵优化计算，且在模型质量和推理速度上优于传统多头注意力。

ResearchWize是一款AI学术助手，简化引用过程，支持MLA和APA格式，自动生成引用，组织研究材料，节省时间，提高准确性，帮助学生专注于学习。

PLM团队开发了一种新型边缘设备语言模型，结合MLA注意力机制和ReLU²激活函数，优化了计算效率和内存使用。该模型在多项任务中表现优异，适配多种硬件，展现出高效、低延迟的性能，推动了边缘设备AI应用的发展。

本文概述了AWS考试相关的服务和功能，涵盖分析、应用集成、云财务管理、计算、容器、数据库、开发工具、机器学习、管理与治理、媒体、迁移与传输、网络与内容交付、安全、身份与合规、存储等多个类别，并指出了一些不在考试范围内的服务。

复旦NLP实验室的纪焘博士后研究了如何高效地将基于多头自注意力（MHA）的大语言模型迁移至多头潜在注意力（MLA）架构，提出了MHA2MLA框架。该框架通过部分RoPE保留和低秩近似，显著降低推理成本，仅需0.3%至0.6%的预训练数据，兼容现有技术，为资源高效的LLMs部署提供新路径。

FlashMLA是DeepSeek开发的多层注意力解码内核，专为NVIDIA Hopper GPU优化，提升大语言模型性能。支持BF16、分页KV缓存和可变长度序列，适用于医疗和金融行业。代码开源，促进AI技术合作与创新。

DeepSeek推出开源项目Flash MLA，旨在优化英伟达H系列芯片性能。该项目采用MIT协议，通过分页式间值缓存、BF16精度和并行计算提升效率。尽管短期影响有限，但在中国出口限制背景下，可能对英伟达市场造成压力。

我于1月29日参加了AWS Certified Machine Learning Engineer - Associate考试，但未能通过。尽管1月9日已通过AWS Certified AI Practitioner，但对Machine Learning Engineer的知识准备不足，导致不合格。考试难度较高，需要掌握实际应用知识。我希望在2月15日前再次挑战，以获得Early Adopter数字徽章。