BriefGPT - AI 论文速递 · 2024-09-06T00:00:00Z

在nVIDIA H100 GPU上的保密计算：性能基准研究

📝

内容提要

本研究解决了启用可信执行环境（TEE）对NVIDIA H100 GPU在大型语言模型（LLM）推理任务中性能的影响。研究表明，尽管GPU内部的计算开销较小，但总体性能罚款主要来自于通过PCIe的数据传输；绝大多数典型LLM查询的开销保持在5%以下。

🏷️

标签

gpu h100 nvidia