微软小语言模型Phi-3-Mini-4K-Instructk开源发布

原文约2300字，阅读约需6分钟。发表于：。

Phi-3-Mini-4K-Instruct 是一个 3.8B 参数、轻量级、最先进的开放模型，使用 Phi-3 数据集进行训练，其中包括合成数据和经过过滤的公开可用网站数据，重点是高品质和推理密集的属性。该型号属于 Phi-3 系列，Mini 版本有4K和128K两种变体，这是它可以支持的上下文长度（以令牌为单位）。该模型经历了训练后过程，其中结合了监督微调和针对指令遵循和安全措施的直接偏好优化。当根据测试常识、语言理解、数学、代码、长上下文和逻辑推理的基准进行评估时，Phi-3 Mini-4K-Instruct 在参数少于 130 亿的模型中展示了强大且最先进的性能。主要用例该模型旨在用于

微软发布了Phi-3-Mini-4K-Instruct模型，参数为3.8B，用于商业和研究。该模型具有强大的推理能力，适用于内存/计算受限环境和延迟限制场景。训练数据为3.3T代币，训练时间为7天。模型在常识推理和逻辑推理方面表现出色，已获得MIT许可。