GPU利用率并不是最终目标，关键指标是令牌成本。近年来，AI基础设施中的GPU调度成为热门话题，旨在提高GPU利用效率。随着企业开始运行生产级大型语言模型服务，新的现象也随之出现。