PANDA: 统一分析与机器学习解决方案的架构级功耗评估
💡
原文中文,约400字,阅读约需1分钟。
📝
内容提要
商业AI产品的通用性导致能源和碳排放增加,多用途生成式模型的成本高出若干数量级。应权衡效用与能源和排放成本。
🎯
关键要点
-
商业AI产品基于生成式、多用途AI系统,近年来越来越受欢迎。
-
这些系统的通用性导致能源和碳排放增加,给环境带来巨大代价。
-
首次对不同机器学习系统的持续推理成本进行了系统比较,包括特定任务和多任务模型。
-
以执行1000次推理所需的能源和碳排放作为部署成本进行度量。
-
多用途生成式模型的成本高出特定任务系统的若干数量级,即使控制模型参数数量也如此。
-
讨论了部署多用途生成型机器学习系统的趋势,强调应权衡效用与能源和排放成本。
➡️