BriefGPT - AI 论文速递 · 2023-12-20T00:00:00Z 加速器驱动的数据排列在多核架构上最小化变压器运行时间 💡 原文中文，约200字，阅读约需1分钟。 📝 内容提要 提出了一种新的内存数据排列策略，通过硬件加速器的内核大小来减小芯片外数据访问，特别适用于基于广义矩阵乘法（GEMM）的终端到终端变压器模型推理。实验证明该方法能够实现高达2.8倍的速度提升。 🏷️ 标签 内存数据排列策略 广义矩阵乘法 硬件加速器 终端到终端变压器模型推理 速度提升 阅读原文 生成长图 分享链接 已复制链接
