Petals：在家中就能运行P2P大语言模型

Petals是一个社区运行的系统，可以协作运行大型语言模型，比Offloading更快。Petals只在服务器之间发送少量数据，而Offloading会将数百GB的NN权重复制到GPU VRAM上。您可以使用任何微调和采样方法，通过模型执行自定义路径，或查看其隐藏状态。Petals可以使用多种生成文本的方法，并根据自己的任务对它们进行微调。