Mistral 7B 是 70 亿参数模型，采用 GQA 和滑动窗口注意力提升推理效率，其 Instruct 版性能超过 Llama 2 13B Chat。相关研究还涉及医学翻译微调、分散式推理系统 Petals（吞吐量比离线快 10 倍）、消费级 GPU 隐私保护训练、可扩展评判模型及小样本指令微调，发现 1k-6k 样本即可取得良好性能。