BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 ·

Active Gradient Conflict Mitigation in Multi-Task Learning: A Sparse Training Perspective

💡 原文英文，约100词，阅读约需1分钟。
📝

内容提要

本研究提出了一种稀疏训练策略，旨在解决多任务学习中的梯度冲突问题。通过部分参数更新，稀疏训练有效减轻了梯度冲突，提高了模型性能，并可与现有技术结合使用。

🏷️

标签

参数更新 多任务学习 梯度冲突 模型性能 稀疏训练
➡️

继续阅读

  1. OpenAI会卖给你Astra，但不会卖给你在ARC-AGI-3上得分98.6%的那套系统
    文章探讨了AI模型评测中“框架工程”（harness）的关键作用。以GPT-6 Astra为例，同一模型在不同评测框架下得分差异显著（62.7%对98.6...
  2. Christophe Pettus: All Your GUCs in a Row: log_startup_progress_interval and log_recovery_conflict_waits
    Track WAL replay progress on a primary, or diagnose why a standby stalled—two...
  3. Presentation: From S3 to GPU in One Copy: Rethinking Data Loading for ML Training
    Onur Satici explains how Vortex, an open-source columnar file format under th...
  4. Kimi K3 模型结构（1）：序列维度（上），从线性注意力到 KDA
    本文介绍Kimi K3模型中KDA（Kimi Delta Attention）的递推形式，从线性注意力、DeltaNet到Gated DeltaNet演进...
  5. Kimi K3 模型结构（4）：深度维度，Attention Residuals
    本文解析Kimi K3模型中的Attention Residuals（注意力残差）结构。该机制将残差连接视为深度方向上的RNN，通过可学习伪query对e...
  6. Kimi K3 模型结构（0）：一张图看懂 Kimi K3
    Kimi K3是2.78T参数、104.2B激活的93层MoE模型，支持1M上下文及图像视频输入。其结构创新分三方面：序列用KDA与Gated MLA混合...
👤 个人中心
在公众号发送验证码完成验证