BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 ·

时间序列预测的反事实解释

💡 原文中文，约200字，阅读约需1分钟。
📝

内容提要

本文探讨了反事实解释的脆弱性和易受操纵的问题，并提出了训练明显公平模型的新目标。实验发现，这些模型可能会不公平地提供低成本的救济措施给特定的子群体，需要探索健壮性反事实解释。

🏷️

标签

健壮性 公平模型 反事实解释 易受操纵 脆弱性
➡️

继续阅读

  1. 大模型不只是预测下一个词：RLVR让它自己跟自己下棋
    大模型不再仅依赖预测下一个词，通过RLVR强化学习，它能自主探索解题路径，从模仿者转变为探索者。预训练如同背诵课文，而RLVR则类似自我解题，借助可验证奖...
  2. DeepSeek-V4 模型结构（3）：序列维度（下），HCA、混合排布与零件
    本文详解DeepSeek-V4模型结构：HCA将128个token压缩为一条目，无需稀疏选择；CSA与HCA交错排布，确保全局信息不丢失；滑窗分支弥补压缩...
  3. DeepSeek-V4 模型结构（2）：序列维度（中），Lightning Indexer 与稀疏选择
    本文介绍DeepSeek-V4模型中的压缩稀疏注意力（CSA）机制。KV缓存每4个token压缩为一条，1M上下文仍有26万条目，故用lightning ...
  4. DeepSeek-V4 模型结构（1）：序列维度（上），从 MLA 到压缩 KV
    本文介绍DeepSeek-V4的注意力机制，从MHA到CSA/HCA的演进，重点分析压缩KV缓存的方法。V4将每4或128个token压缩为一条512维K...
  5. Kimi K3 模型结构（3）：序列维度，Gated MLA 与 3:1 混合
    本文介绍Kimi K3模型结构：采用3:1混合，每四层含一层Gated MLA（无位置编码、满秩sigmoid门），其余为KDA层。MLA低秩压缩KV至5...
  6. Kimi K3 模型结构（2）：序列维度（下），chunkwise 并行与下界衰减
    本文介绍Kimi K3模型序列维度的chunkwise并行算法：将序列分块，块间递推状态、块内用矩阵乘并行计算。K3将每步log-decay加−5下界，使...
👤 个人中心
在公众号发送验证码完成验证