BriefGPT - AI 论文速递 ·

通过外部引导对预训练语言模型进行噪声抗干扰微调

💡 原文中文，约300字，阅读约需1分钟。

📝

内容提要

该文介绍了一种名为PPLM的方法，通过注入特定领域知识来保护数据隐私。该方法包括语料库整理、训练损失和微调等技术，并在各种数据集和场景下进行了广泛实验证实。

🏷️

Kimi K3 模型结构（3）：序列维度，Gated MLA 与 3:1 混合
本文介绍Kimi K3模型结构：采用3:1混合，每四层含一层Gated MLA（无位置编码、满秩sigmoid门），其余为KDA层。MLA低秩压缩KV至5...
内容创作者失误
During Naomi Osaka's match against Anastasia Zakharova at this year's...
Kimi K3 模型结构（2）：序列维度（下），chunkwise 并行与下界衰减
本文介绍Kimi K3模型序列维度的chunkwise并行算法：将序列分块，块间递推状态、块内用矩阵乘并行计算。K3将每步log-decay加−5下界，使...
如何凭空参加行业大会，观看大佬分享？AI帮你打开思维，轻松理解每一个最新前沿知识
故事的开始是这样的，我前两天，看到抖音官方发布了它们的推荐系统的分享内容，这份来自官方的资料，值得每一个研究抖音的朋友学习。但是，这份内容的文字比较多，而...
谎言秩序：俄罗斯的公共生活的荒诞性
俄罗斯这个民族的公共生活是由谎言所维系的，其民族集体心理已经陷入深度扭曲长达几个世纪。帝国时代，沙皇君权神授，体贴爱民；假如哪里出了问题，那一定是贵族和官...
Kimi K3 模型结构（1）：序列维度（上），从线性注意力到 KDA
本文介绍Kimi K3模型中KDA（Kimi Delta Attention）的递推形式，从线性注意力、DeltaNet到Gated DeltaNet演进...