英伟达PAIR让你闲置的Mac和PC为AI智能体工作

英伟达PAIR让你闲置的Mac和PC为AI智能体工作

💡 原文英文,约800词,阅读约需3分钟。
📝

内容提要

英伟达推出开源软件路由器PAIR,利用家中闲置Mac或PC运行AI模型,加速智能体工作流。它通过本地网络发现设备,将子代理请求路由至空闲机器,支持Ollama或LM Studio,不合并GPU或拆分推理请求。目前为测试版,支持Windows、macOS和Linux。

🔎

延伸解读

适用门槛与硬件要求

PAIR并非所有设备都能使用。它要求每台机器安装Ollama或LM Studio,且需满足特定硬件条件:Nvidia GeForce RTX 20系列及以上、M4芯片或更新的Mac,或DGX Spark等。这意味着老旧设备可能无法参与,用户需先确认自家设备是否在支持列表内。

工作原理与限制

PAIR作为虚拟推理路由器,不合并GPU或拆分单个推理请求。它通过mDNS发现局域网内的设备,将子代理的请求路由到空闲且具备所需模型的机器上。每个请求由单台设备完整执行,因此若想并行处理多个请求,需在多台设备上安装相同模型,以增加路由选择。

实际加速效果与场景

英伟达的测试显示,在配备两块RTX 5090(32GB)的PC上运行Qwen3.6 35B A3B模型,使用PAIR后五个子代理的工作流加速约1.6倍。但普通家庭可能只有Mac Studio、Mac mini或游戏PC等混合设备,实际加速效果可能因硬件差异而不同,但预计仍能提升本地智能体工作流的速度。

Q&A

英伟达PAIR是什么?

PAIR是英伟达推出的开源软件路由器,用于家庭网络,让闲置的Mac和PC运行AI模型,加速智能体工作流。

PAIR如何工作?

PAIR通过mDNS发现本地网络中的设备,检查它们是否能运行请求,然后通过代理接收请求,识别引擎和模型要求,选择符合条件的节点执行,并将响应返回。

PAIR支持哪些硬件?

PAIR支持Windows、macOS和Linux系统,兼容Nvidia GeForce RTX 20系列及更新的GPU、Mac M4芯片或更新、Nvidia DGX Spark,以及即将推出的RTX Spark PC和笔记本。

PAIR能合并GPU或拆分推理请求吗?

不能。PAIR不合并GPU或池化VRAM,也不能将单个推理请求拆分到多台机器上。每个请求由一台符合条件的节点完整执行。

PAIR如何与Ollama或LM Studio集成?

PAIR利用机器上已安装的Ollama或LM Studio来运行模型,它本身不是推理引擎。PAIR可以协助安装这些工具并启动模型下载。

PAIR如何管理设备可用性?

PAIR监控各台电脑的可用状态,当用户开始使用某台机器(如工作或游戏)并占用GPU时,PAIR会停止该机器上的本地推理引擎。

PAIR的实际加速效果如何?

在英伟达的示例中,使用两台配备RTX 5090 GPU的PC和Qwen3.6 35B A3B模型,PAIR使五个子代理的工作流加速约1.6倍。

PAIR目前处于什么阶段?如何开始使用?

PAIR目前是测试版。要使用,需要在每台机器上安装PAIR,让它们发现并配对,并确保安装了Ollama或LM Studio及所需模型。

🏷️

标签

➡️

继续阅读