天啊，这不是神话：NVIDIA Triton加速Oracle云上的推理
原文英文，约800词，阅读约需3分钟。发表于：。An avid cyclist, Thomas Park knows the value of having lots of gears to maintain a smooth, fast ride. So, when the software architect designed an AI inference platform to serve predictions for...
软件架构师Thomas Park选择了NVIDIA Triton Inference Server为Oracle Cloud Infrastructure的Vision AI服务设计了一个AI推理平台。Triton降低了OCI的总拥有成本10%，提高了预测吞吐量最多76%，并将推理延迟降低了最多51%。OCI Vision AI用于物体检测和图像分类，例如自动检测车辆轴以进行收费计算。Triton现在正在被其他OCI服务采用。OCI的数据科学服务计划使用户更容易接受Triton。
