BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 ·

样本感知动态稀疏精调的统一低资源序列标注

💡 原文中文，约200字，阅读约需1分钟。
📝

内容提要

SALMON是一种新方法，使用少量人定的原则和基于合成偏好数据训练的奖励模型，实现了对基础语言模型的自动对齐，提高了监督效率、可控性和可扩展性。在各种基准数据集上显著超越了几种最先进的人工智能系统，包括LLaMA-2-Chat-70b。

🏷️

标签

SALMON 人工智能系统 监督效率 自动对齐 语言模型
➡️

继续阅读

  1. DeepSeek-V4 模型结构（3）：序列维度（下），HCA、混合排布与零件
    本文详解DeepSeek-V4模型结构：HCA将128个token压缩为一条目，无需稀疏选择；CSA与HCA交错排布，确保全局信息不丢失；滑窗分支弥补压缩...
  2. DeepSeek-V4 模型结构（2）：序列维度（中），Lightning Indexer 与稀疏选择
    本文介绍DeepSeek-V4模型中的压缩稀疏注意力（CSA）机制。KV缓存每4个token压缩为一条，1M上下文仍有26万条目，故用lightning ...
  3. DeepSeek-V4 模型结构（1）：序列维度（上），从 MLA 到压缩 KV
    本文介绍DeepSeek-V4的注意力机制，从MHA到CSA/HCA的演进，重点分析压缩KV缓存的方法。V4将每4或128个token压缩为一条512维K...
  4. Kimi K3 模型结构（3）：序列维度，Gated MLA 与 3:1 混合
    本文介绍Kimi K3模型结构：采用3:1混合，每四层含一层Gated MLA（无位置编码、满秩sigmoid门），其余为KDA层。MLA低秩压缩KV至5...
  5. Kimi K3 模型结构（2）：序列维度（下），chunkwise 并行与下界衰减
    本文介绍Kimi K3模型序列维度的chunkwise并行算法：将序列分块，块间递推状态、块内用矩阵乘并行计算。K3将每步log-decay加−5下界，使...
  6. Kimi K3 模型结构（1）：序列维度（上），从线性注意力到 KDA
    本文介绍Kimi K3模型中KDA（Kimi Delta Attention）的递推形式，从线性注意力、DeltaNet到Gated DeltaNet演进...
👤 个人中心
在公众号发送验证码完成验证