Phi-2：小语言模型的非凡实力 [译]
内容提要
微软发布27亿参数小语言模型Phi-2，在推理和语言理解上领先于参数少于130亿的基础模型，多项基准测试中匹敌甚至超越大25倍的模型。其关键在于使用高质量“教科书级”合成数据，并从Phi-1.5进行知识迁移以加速训练。Phi-2在编程、数学等任务上超越Llama-2-70B，安全性也优于部分开源模型，已上线Azure AI Studio供研究使用。
延伸解读
小模型的大潜力：数据质量与知识迁移
Phi-2 仅用 27 亿参数就在多项基准测试中匹敌甚至超越大 25 倍的模型，关键在于高质量“教科书级”合成数据和从 Phi-1.5 的知识迁移。这提示我们，模型性能不仅取决于规模，训练数据的策划和迁移学习同样能大幅提升小模型能力，为资源有限的研究者提供了新思路。
基准测试的局限：实际应用才是试金石
文章指出公开基准测试可能被训练数据污染，因此微软用内部专有数据集测试，发现 Phi-2 平均表现优于 Mistral-7B 和 Llama-2 系列。这提醒读者，评估模型时应关注实际任务表现，而非仅看榜单分数，避免被过拟合的基准结果误导。
安全性与偏见：小模型也可能更安全
尽管 Phi-2 未经过 RLHF 和指令微调，但在 ToxiGen 基准上其安全性优于部分开源模型，这得益于数据策划技术。这表明，通过精心设计训练数据，小模型也能在安全性和偏见控制上表现良好，为后续研究提供了可借鉴的方向。
研究价值与可用性：理想的实验平台
Phi-2 体积小巧，适合研究人员进行机械解释性、安全性提升或微调实验，并已在 Azure AI Studio 上线供研究使用。对于想探索语言模型内部机制或进行低成本实验的团队，Phi-2 提供了一个便捷的起点，但需注意其作为基础模型未针对指令跟随优化。
Q&A
Phi-2模型有多少参数？它的性能在同类模型中处于什么水平？
Phi-2拥有27亿参数。在参数少于130亿的基础语言模型中处于领先地位，在多项基准测试中表现匹敌甚至超越体量大25倍的模型。
Phi-2在哪些任务上超越了Llama-2-70B？
Phi-2在编程和数学等多步骤推理任务上超越了参数量是其25倍的Llama-2-70B模型。
Phi-2训练使用了什么关键技术来提升性能？
Phi-2使用了高质量的“教科书级”合成数据（涵盖科学、日常生活和心理理论等），并采用知识转移技术从13亿参数的Phi-1.5模型向27亿参数的Phi-2进行知识嵌入，加速训练收敛并提升基准测试表现。
Phi-2的训练细节是怎样的？比如训练数据量和硬件配置。
Phi-2基于Transformer架构，训练了高达1.4T个token，使用96块A100 GPU训练了14天。
Phi-2在安全性方面表现如何？
尽管Phi-2是基础模型，未经过RLHF校准和指令微调，但在毒性和偏见问题上的表现优于部分经过这些流程的现有开源模型，在ToxiGen基准测试中安全性得分较高。
研究人员如何获取和使用Phi-2模型？
Phi-2已在Azure AI Studio模型目录中向公众提供，供研究人员进行机械解释性、安全性提升或针对各种任务的微调实验。
