128GB 推理设备的 AI 模型推理引擎怎么选？

作者在移植60多个AI模型后总结：单流解码首选TensorFold，速度是vLLM的1.3至3倍，DeepInfer潜力相当；高并发场景选vLLM和SGlang，配合DFlash2后单流表现也优秀，两者差别不大，SGlang跟进新模型更快；Strata仅适合32GB小显存的消费级显卡，在128GB设备上解码速度不足vLLM一半，不建议使用。