vLLM的并行限制源于注意力头数需被TP大小整除，而非固定1/2/4/8卡；llama.cpp采用层切分，通信量小，卡数影响不大，关键在互联类型。TensorSharp引擎同时支持层切分和张量并行，3卡跑744B模型性能超llama.cpp，但TP对互联敏感，2卡仅提升1.4倍。核心结论：层切分对卡数免疫，TP对互联敏感。