天啊，这不是神话：NVIDIA Triton加速Oracle云上的推理

软件架构师Thomas Park选择了NVIDIA Triton Inference Server为Oracle Cloud Infrastructure的Vision AI服务设计了一个AI推理平台。Triton降低了OCI的总拥有成本10%，提高了预测吞吐量最多76%，并将推理延迟降低了最多51%。OCI Vision AI用于物体检测和图像分类，例如自动检测车辆轴以进行收费计算。Triton现在正在被其他OCI服务采用。OCI的数据科学服务计划使用户更容易接受Triton。