容器下使用 Triton Server 和 TensorRT-LLM 进行大模型推理

TensorRT-LLM是一个用于将模型转换为TensorRT格式的工具，支持多种显卡。使用TensorRT-LLM编译模型后，模型的RougeLsum指标有所下降，但推理速度有较大提升。Triton Server是一个支持多种后端的推理框架，包括TensorRT-LLM，可以进行批量推理和流水线并行推理。可以通过Triton Server的GRPC接口进行推理测试，并通过监控指标评估推理质量。