BriefGPT - AI 论文速递 ·

涡轮注意力：高吞吐量大语言模型的高效注意力近似

💡 原文中文，约300字，阅读约需1分钟。

📝

内容提要

本研究提出涡轮注意力（TurboAttention），通过FlashQ和稀疏软最大近似技术，显著提升大型语言模型的计算和内存效率，实现1.2-1.8倍的速度提升，KV缓存减少4.4倍。

🏷️

Kimi K3 模型结构（1）：序列维度（上），从线性注意力到 KDA
本文介绍Kimi K3模型中KDA（Kimi Delta Attention）的递推形式，从线性注意力、DeltaNet到Gated DeltaNet演进...
Kimi K3 模型结构（5）：宽度维度，Stable LatentMoE
Kimi K3模型采用Stable LatentMoE作为FFN，基于NVIDIA LatentMoE改进，将输入压缩至半宽latent空间，增加RMSN...
Claude Fable 5.1 对比 Fable 5：在实际工作中，我无法区分它们。
Anthropic launched Claude Fable 5.1 this week, calling it “our most advanced ...
在代理式RAG中建立信任始于证据
Basic retrieval-augmented generation (RAG) follows a straightforward pattern....
Kimi K3 模型结构（3）：序列维度，Gated MLA 与 3:1 混合
本文介绍Kimi K3模型结构：采用3:1混合，每四层含一层Gated MLA（无位置编码、满秩sigmoid门），其余为KDA层。MLA低秩压缩KV至5...
内容创作者失误
美网公开赛上，网红在包厢内喧哗、用闪光灯拍照干扰比赛，引发争议。品牌邀请网红推广活动，但缺乏行为规范，导致负面效果。类似地，Callaway高尔夫因与网红...