天啊，这不是神话：NVIDIA Triton加速Oracle云上的推理
内容提要
软件架构师Thomas Park选择了NVIDIA Triton Inference Server为Oracle Cloud Infrastructure的Vision AI服务设计了一个AI推理平台。Triton降低了OCI的总拥有成本10%，提高了预测吞吐量最多76%，并将推理延迟降低了最多51%。OCI Vision AI用于物体检测和图像分类，例如自动检测车辆轴以进行收费计算。Triton现在正在被其他OCI服务采用。OCI的数据科学服务计划使用户更容易接受Triton。
延伸解读
Triton带来的实际效益
文章给出了Triton在OCI Vision和文档理解服务上的量化效果：总拥有成本降低10%，预测吞吐量提升最高76%，推理延迟降低最高51%。这些数字来自实际迁移后的模型，覆盖全球45个以上区域数据中心。对于关注推理成本与性能的读者，这组数据可作为评估Triton价值的参考，但需注意其具体场景和模型类型。
多模型推理的差异化优势
OCI数据科学服务团队认为Triton在单端点部署多个模型方面表现突出，填补了现有方案的空白。对于需要同时服务多种AI模型的企业用户，Triton的灵活性和性能是主要吸引力。文章提到Triton已被Oracle内部多个团队采用，用于并发多模型推理任务，说明其在实际生产环境中的适用性。
降低使用门槛的自动化配置
OCI数据科学服务构建了“Triton感知”平台，可自动在后台完成配置并启动Triton驱动的推理端点，为用户节省时间。该服务是NetSuite和Oracle Fusion SaaS应用的机器学习平台，面向数万企业客户。这种自动化集成意味着即使不熟悉Triton的用户也能间接利用其性能优势，但文章未透露具体配置细节和可用范围。
面向大模型推理的后续布局
文章提到团队正在评估NVIDIA TensorRT-LLM软件以加速大型语言模型推理，并已尝试用4位量化在A10 GPU上运行700亿参数的Llama 2模型，认为输出质量仍然不错。同时Oracle正在部署H100、H200、L40S和Grace Hopper等新硬件。这些动向表明推理优化仍在快速演进，但相关评估尚未形成正式产品，读者应关注后续进展。
Q&A
NVIDIA Triton 在 Oracle 云基础设施上带来了哪些具体的性能提升？
Triton 将 OCI 的总拥有成本降低了 10%，将预测吞吐量提高了最多 76%，并将推理延迟降低了最多 51%。这些数据针对的是迁移到 Triton 的 OCI Vision 和文档理解服务模型。
为什么 Oracle 的软件架构师 Thomas Park 选择 Triton 来构建 AI 推理平台？
因为 Triton 能够快速高效地处理几乎任何 AI 模型、框架、硬件和操作模式，提供了极大的灵活性。Thomas Park 将其比作自行车变速器，可以上下或横向切换以保持平稳快速的运行。
OCI Vision AI 有哪些实际应用案例？
OCI Vision AI 用于物体检测和图像分类。例如，美国一家交通机构用它自动检测通过的车辆轴数，以计算和收取桥梁通行费；Oracle NetSuite 则用它来自动化发票识别。
OCI 的数据科学服务如何帮助客户更轻松地使用 Triton？
OCI 的数据科学服务构建了一个 Triton 感知的 AI 平台，可以自动在后台完成配置工作，为客户启动由 Triton 支持的推理端点，从而节省客户时间。
Triton 在多模型推理方面有什么优势？
Triton 被认为是最通用和先进的推理框架，特别擅长在单个端点上部署多个模型，并具有很好的跟踪记录和性能。这弥补了 OCI 现有产品的空白。
Oracle 未来在 AI 加速方面有哪些计划？
Oracle 正在部署最新的 NVIDIA H100 Tensor Core GPU、H200 GPU、L40S GPU 和 Grace Hopper 超级芯片。此外，Keisar 的团队正在评估 NVIDIA TensorRT-LLM 软件，以加速复杂的大型语言模型推理。
