【vLLM 学习】Torchrun Example
💡
原文中文，约1200字，阅读约需3分钟。
📝
内容提要
本文介绍了使用torchrun进行张量并行推理的实验性支持，包括运行命令和示例代码，展示了如何创建提示和采样参数以生成输出，并提到跨进程传递控制消息的技巧。
🎯
关键要点
- 本文介绍了使用torchrun进行张量并行推理的实验性支持。
- 运行命令为：`torchrun --nproc-per-node=2 torchrun_example.py`，参数2需与`tensor_parallel_size`一致。
- 示例代码展示了如何创建提示和采样参数以生成输出。
- 使用`distributed_executor_backend="external_launcher"`配置，确保LLM引擎仅创建一个工作进程。
- 所有rank将具有相同的输出。
- 跨进程传递控制消息时，建议使用基于GLOO后端的CPU组。
➡️
