BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 ·

通过无交集通用深度比较机器学习算法

💡 原文中文，约300字，阅读约需1分钟。
📝

内容提要

该文章介绍了一种通过深度函数对部分排序集进行描述性分析的框架，并提出了一种适用于所有部分排序的改进方法。通过比较基于多维性能度量的机器学习算法，展示了该方法的广泛应用。同时，该方法与现有基准方法存在明显差异，为分类器比较提供了新的视角。

🏷️

标签

机器学习 算法
➡️

继续阅读

  1. DeepSeek-V4 模型结构（4）：深度维度，mHC
    该文详解DeepSeek-V4的mHC残差结构：将单条残差流拓宽为4条，通过读、写、混三算子连接子层。为保稳定，混合矩阵被约束为双随机矩阵（非负、行和列和...
  2. Kimi K3 模型结构（4）：深度维度，Attention Residuals
    本文解析Kimi K3模型中的Attention Residuals（注意力残差）结构。该机制将残差连接视为深度方向上的RNN，通过可学习伪query对e...
  3. 让炼丹更科学一些（九）：经典自适应梯度算法
    本系列前面八篇文章，都是在围绕SGD及其学习率讨论。而从本文开始，我们将正式进入自适应梯度算法的世界。可以说，现在所有的自适应梯度算法，都有一个共同的源头...
  4. 显存账本：每张卡上住着什么，搬走付什么
    本文介绍训练大模型时显存管理的通用记账方法。显存分为五类：权重、梯度、优化器状态、激活和通信缓冲。前三类由参数量和并行度决定，激活随输入长度增长，优化空间...
  5. 数据并行与 ZeRO：三级分片各省多少
    本文介绍数据并行与ZeRO优化技术。ZeRO通过三级分片（优化器状态、梯度、权重）减少显存占用，前两级不增通信量，第三级需额外all-gather。ZeR...
  6. 流水线并行：1F1B、虚拟段与气泡
    本文介绍流水线并行中气泡的产生与优化。将模型按层切段、批次分微批后，段间等待形成气泡。四代调度各改一点：GPipe先全前向再全反向，显存高；1F1B改交替...
👤 个人中心
在公众号发送验证码完成验证