该文为一篇博客推广文章,介绍了作者的频道和Twitter账号,并分享了一些开源项目和技术文章。作者推荐了perses和Petals等项目。
Petals是一个社区运行的系统,可以协作运行大型语言模型,比Offloading更快。Petals只在服务器之间发送少量数据,而Offloading会将数百GB的NN权重复制到GPU VRAM上。您可以使用任何微调和采样方法,通过模型执行自定义路径,或查看其隐藏状态。Petals可以使用多种生成文本的方法,并根据自己的任务对它们进行微调。
完成下面两步后,将自动完成登录并继续当前操作。