关于 vLLM VS TensorFold 的性能真相
原文中文,约800字,阅读约需2分钟。
📝
内容提要
对比vLLM与TensorFold:TensorFold单流解码速度为vLLM的130%~180%,但Prefill性能仅为后者的1/3~1/2,显存占用更高,上下文长度更短(128GB下265K对900K)。低上下文、低Prefill需求宜选TensorFold;长上下文、高Prefill及多并发场景宜选vLLM。
🏷️