微软推出配备NVIDIA Tensor Core GPU的Azure机密虚拟机,以增强安全工作负载

微软推出配备NVIDIA Tensor Core GPU的Azure机密虚拟机,以增强安全工作负载

💡 原文英文,约500词,阅读约需2分钟。
📝

内容提要

微软推出Azure机密虚拟机(NCC H100 v5 SKU),配备NVIDIA Tensor Core GPU和AMD EPYC处理器,适合中小型模型的推理、微调和训练,提供安全的云计算环境,尽管存在信任问题,仍为客户提供灵活的工作负载选项。

🎯

关键要点

  • 微软推出Azure机密虚拟机(NCC H100 v5 SKU),配备NVIDIA Tensor Core GPU和AMD EPYC处理器。
  • 这些虚拟机适合中小型模型的推理、微调和训练,提供安全的云计算环境。
  • NCC H100 v5虚拟机提供硬件基础的受信执行环境(TEE),提高虚拟机的安全性。
  • 客户可以在这些虚拟机中发起证明请求,以验证其运行在正确配置的TEE上。
  • 尽管存在信任问题,当前的证明机制仍需依赖云服务提供商。
  • 多家公司利用Azure NCC H100 v5 GPU虚拟机进行机密音频转文本推理、视频分析和数据隐私等工作负载。
  • AWS和Google也提供NVIDIA H100 Tensor Core GPU,AWS通过其EC2 P5实例提供H100 GPU。
  • NVIDIA H100是第九代数据中心GPU,旨在为大规模AI和高性能计算提供显著的性能提升。
  • Azure NCC H100 v5虚拟机目前仅在东美国2和西欧洲地区可用。
➡️

继续阅读