AI 部署开销：瓦特数何以驱动成本？

建立在生成式、多用途 AI 系统基础上的商业 AI 产品近年来越来越受欢迎，然而，由于这些系统所需的能源和排放的碳量的增加，这种 “通用性” 的雄心勃勃使环境付出了巨大代价。在这项工作中，我们首次对各类机器学习系统的持续推理成本进行了系统比较，既包括特定任务的（即执行单一任务的微调模型），也包括多任务的（即为多个任务训练的）“通用型” 模型。我们以执行 1000 次推理在典型基准数据集上所需的能源和碳排放作为部署成本进行度量。我们发现，就各种任务而言，相比于特定任务的系统，多用途、生成式结构的模型成本高出若干数量级，即便在控制模型参数数量时也是如此。我们最后讨论了部署多用途生成型机器学习系统的当前趋势，并警示应更加有意识地权衡其效用与能源和排放上升之间的成本。我们的研究数据可通过交互演示获得，以进行进一步探索和分析。