内容提要
英伟达推出开源软件路由器PAIR,利用家中闲置Mac或PC运行AI模型,加速智能体工作流。它通过本地网络发现设备,将子代理请求路由至空闲机器,支持Ollama或LM Studio,不合并GPU或拆分推理请求。目前为测试版,支持Windows、macOS和Linux。
延伸解读
适用门槛与硬件要求
PAIR并非所有设备都能使用。它要求每台机器安装Ollama或LM Studio,且需满足特定硬件条件:Nvidia GeForce RTX 20系列及以上、M4芯片或更新的Mac,或DGX Spark等。这意味着老旧设备可能无法参与,用户需先确认自家设备是否在支持列表内。
工作原理与限制
PAIR作为虚拟推理路由器,不合并GPU或拆分单个推理请求。它通过mDNS发现局域网内的设备,将子代理的请求路由到空闲且具备所需模型的机器上。每个请求由单台设备完整执行,因此若想并行处理多个请求,需在多台设备上安装相同模型,以增加路由选择。
实际加速效果与场景
英伟达的测试显示,在配备两块RTX 5090(32GB)的PC上运行Qwen3.6 35B A3B模型,使用PAIR后五个子代理的工作流加速约1.6倍。但普通家庭可能只有Mac Studio、Mac mini或游戏PC等混合设备,实际加速效果可能因硬件差异而不同,但预计仍能提升本地智能体工作流的速度。
Q&A
英伟达PAIR是什么?
PAIR是英伟达推出的开源软件路由器,用于家庭网络,让闲置的Mac和PC运行AI模型,加速智能体工作流。
PAIR如何工作?
PAIR通过mDNS发现本地网络中的设备,检查它们是否能运行请求,然后通过代理接收请求,识别引擎和模型要求,选择符合条件的节点执行,并将响应返回。
PAIR支持哪些硬件?
PAIR支持Windows、macOS和Linux系统,兼容Nvidia GeForce RTX 20系列及更新的GPU、Mac M4芯片或更新、Nvidia DGX Spark,以及即将推出的RTX Spark PC和笔记本。
PAIR能合并GPU或拆分推理请求吗?
不能。PAIR不合并GPU或池化VRAM,也不能将单个推理请求拆分到多台机器上。每个请求由一台符合条件的节点完整执行。
PAIR如何与Ollama或LM Studio集成?
PAIR利用机器上已安装的Ollama或LM Studio来运行模型,它本身不是推理引擎。PAIR可以协助安装这些工具并启动模型下载。
PAIR如何管理设备可用性?
PAIR监控各台电脑的可用状态,当用户开始使用某台机器(如工作或游戏)并占用GPU时,PAIR会停止该机器上的本地推理引擎。
PAIR的实际加速效果如何?
在英伟达的示例中,使用两台配备RTX 5090 GPU的PC和Qwen3.6 35B A3B模型,PAIR使五个子代理的工作流加速约1.6倍。
PAIR目前处于什么阶段?如何开始使用?
PAIR目前是测试版。要使用,需要在每台机器上安装PAIR,让它们发现并配对,并确保安装了Ollama或LM Studio及所需模型。