天啊，这不是神话：NVIDIA Triton加速Oracle云上的推理
💡
原文英文，约800词，阅读约需3分钟。
📝
内容提要
软件架构师Thomas Park选择了NVIDIA Triton Inference Server为Oracle Cloud Infrastructure的Vision AI服务设计了一个AI推理平台。Triton降低了OCI的总拥有成本10%，提高了预测吞吐量最多76%，并将推理延迟降低了最多51%。OCI Vision AI用于物体检测和图像分类，例如自动检测车辆轴以进行收费计算。Triton现在正在被其他OCI服务采用。OCI的数据科学服务计划使用户更容易接受Triton。
🎯
关键要点
- 软件架构师Thomas Park为Oracle Cloud Infrastructure的Vision AI服务设计了AI推理平台，选择了NVIDIA Triton Inference Server。
- Triton降低了OCI的总拥有成本10%，提高了预测吞吐量最多76%，并将推理延迟降低了最多51%。
- OCI Vision AI用于物体检测和图像分类，例如自动检测车辆轴以进行收费计算。
- Triton现在正在被其他OCI服务采用，提升了用户体验。
- OCI的数据科学服务为客户构建了一个Triton感知的AI平台，自动配置推理端点。
- OCI的数据科学服务是NetSuite和Oracle Fusion SaaS应用的机器学习平台，服务于众多企业用户。
- Triton被视为最佳推理框架，尤其在多模型推理方面表现出色。
- Keisar的团队正在评估NVIDIA TensorRT-LLM软件，以加速复杂的大型语言模型推理。
- Oracle正在部署最新的NVIDIA H100 Tensor Core GPUs等硬件，以推动加速努力。
➡️
