Phi-3小型和中型下载地址
内容提要
微软推出了Phi-3小型和中型下载地址，Phi-3小型和中型在MIT许可下可用。Phi-3小型和中型分别有128k和8k的版本。Phi-3小型击败了Mistral 7B和Llama 3 8B，中型与Mixtral 8x22B、Llama 3 70B和beats Command R+ 104B及GPT 3.5竞争。短上下文版本表现稍好，适用于资源受限环境。
延伸解读
模型规格与训练细节
Phi-3系列包含小型（7.5B）、中型（14B）和Vision（4.2B）三个版本，均在4.8T标记上训练，使用过滤数据和合成数据（科学+编码教科书），并采用100K词汇表的新标记符。训练在512块H100上进行42天，包含10%多语言数据，知识截止到2023年10月。这些细节有助于评估模型的能力范围和适用场景。
性能对比与定位
根据网友亲测，Phi-3小型击败了Mistral 7B和Llama 3 8B，而中型则与Mixtral 8x22B、Llama 3 70B竞争，并击败了Command R+ 104B及GPT 3.5。这表明Phi-3系列在较小参数规模下实现了较强的性能，适合资源有限但需要较高准确性的场景。
上下文长度选择建议
Phi-3提供4K和128K两种上下文版本。短上下文版本在准确性上表现稍好，能更好地关注细节；而长上下文版本需要更大的KV缓存，从而占用更多显存。因此，如果任务不需要长上下文且对准确性要求高，短上下文版本更合适；反之则选择长上下文版本。
许可与下载注意事项
Phi-3小型和中型在MIT许可下发布，允许自由使用和修改。网友提醒在微软改变主意前尽快下载。文章提供了多个Hugging Face下载链接，包括小型128k/8k、中型128k/4k以及Vision和mini版本，方便用户根据需求选择。
Q&A
Phi-3小型和中型的参数分别是多少？
Phi-3小型的参数为7.5B，中型的参数为14B。
Phi-3小型和中型的上下文长度是多少？
小型的上下文长度为128K，中型的上下文长度为4K。
Phi-3小型在性能上与哪些模型竞争？
Phi-3小型击败了Mistral 7B和Llama 3 8B。
中型Phi-3与哪些模型竞争？
中型Phi-3与Mixtral 8x22B、Llama 3 70B、beats Command R+ 104B及GPT 3.5竞争。
短上下文版本在什么情况下更受欢迎？
短上下文版本在准确性非常重要且不需要长上下文的情况下更受欢迎。
Phi-3模型使用了什么类型的数据进行训练？
Phi-3模型使用经过过滤的数据和合成数据进行训练。
