BriefGPT - AI 论文速递 · 2025-04-16T00:00:00Z 对CPU-GPU耦合架构上大规模语言模型推理工作负载的特征分析与优化 💡 原文中文，约700字，阅读约需2分钟。 📝 内容提要 本研究分析了大规模语言模型在CPU-GPU耦合架构下的推理特征，结果显示紧耦合系统在大批量处理时性能优于松耦合系统，但在小批量时受限于CPU。内核融合技术能够缓解低批量的延迟瓶颈。 🏷️ 标签 CPU-GPU cpu gpu 内核融合 大规模语言模型 松耦合 紧耦合 语言模型 阅读原文 生成长图 分享链接 已复制链接
