BriefGPT - AI 论文速递 · 2024-09-06T00:00:00Z 在nVIDIA H100 GPU上的保密计算：性能基准研究 📝 内容提要 本研究解决了启用可信执行环境（TEE）对NVIDIA H100 GPU在大型语言模型（LLM）推理任务中性能的影响。研究表明，尽管GPU内部的计算开销较小，但总体性能罚款主要来自于通过PCIe的数据传输；绝大多数典型LLM查询的开销保持在5%以下。 🏷️ 标签 gpu h100 nvidia 阅读原文 生成长图 分享链接 已复制链接
