CascadeServe: 解锁模型级联进行推理服务

BriefGPT - AI 论文速递 · 2024-06-20T00:00:00Z

本文介绍了一种近似算法，使用预训练模型生成具有类似准确度但成本更低的级联模型。该算法应用于最先进的ImageNet分类模型，可降低浮点乘法和内存I/O的成本。自动生成的级联模型具有直观的特性，如对易于处理的图像使用较低分辨率输入，并在使用成本较低的模型时需要更高的预测置信度。