Mistral 7B 是 70 亿参数模型，采用 GQA 和滑动窗口注意力提升推理效率，其 Instruct 版性能超过 Llama 2 13B Chat。相关研究还涉及医学翻译微调、分散式推理系统 Petals（吞吐量比离线快 10 倍）、消费级 GPU 隐私保护训练、可扩展评判模型及小样本指令微调，发现 1k-6k 样本即可取得良好性能。

Petals是一个社区运行的系统，可以协作运行大型语言模型，比Offloading更快。Petals只在服务器之间发送少量数据，而Offloading会将数百GB的NN权重复制到GPU VRAM上。您可以使用任何微调和采样方法，通过模型执行自定义路径，或查看其隐藏状态。Petals可以使用多种生成文本的方法，并根据自己的任务对它们进行微调。