Zephyr是Hugging Face发布的大型语言模型系列，使用蒸馏监督微调（dSFT）在更大的模型上进行训练，提高了任务准确性。Zephyr是Mistral-7B的对齐版本，使用了自我指导数据创建、DSFT、反馈收集和偏好优化等关键技术。Zephyr模型在性能上与40B模型相媲美，聊天模型上与70B模型相媲美。