InfoQ
·
OpenAI发布gpt-oss-120b和gpt-oss-20b，开放权重语言模型，支持本地部署
内容提要
OpenAI发布了gpt-oss-120b和gpt-oss-20b两个开放权重语言模型，支持高效推理和工具使用。120b模型可在单个80GB GPU上运行，超越o4-mini；20b模型适合16GB内存的消费级硬件，支持本地推理。两者可配置推理力度，适用于多种应用场景。模型经过风险评估，并接受外部专家审查，推出红队挑战以进一步评估。
关键要点
-
OpenAI发布了gpt-oss-120b和gpt-oss-20b两个开放权重语言模型，支持高效推理和工具使用。
-
gpt-oss-120b模型在单个80GB GPU上运行，超越o4-mini，激活每个token的5.1亿参数。
-
gpt-oss-20b模型适合16GB内存的消费级硬件，支持本地推理，激活3.6亿参数。
-
两个模型支持链式推理、工具使用和结构化输出，开发者可配置推理力度。
-
模型使用了旋转位置嵌入和分组多查询注意力，支持128k上下文长度，经过多项基准测试评估。
-
OpenAI未对模型的链式推理进行直接监督，允许研究人员研究潜在问题。
-
OpenAI进行了最坏情况微调，使用生物和网络安全领域的对抗数据评估风险。
-
外部专家审查结果影响了模型的最终发布，OpenAI推出了红队挑战以进一步评估模型。
-
模型可在Hugging Face和多个部署平台上获取，20B模型可在本地运行，需16GB内存。
-
微软将通过ONNX Runtime为Windows带来20B模型的GPU优化版本。
延伸解读
模型的开放性与应用前景
OpenAI发布的gpt-oss-120b和gpt-oss-20b模型是完全开放的权重模型，标志着公司在AI领域的进一步透明化。这种开放性使得开发者能够在本地进行高效推理，适用于多种应用场景，如自然语言处理和数据分析，推动了AI技术的普及和创新。
风险评估与安全性
OpenAI在发布模型前进行了严格的风险评估，包括使用对抗数据进行最坏情况微调。这表明公司对模型的安全性和潜在滥用风险有高度重视。研究人员可以利用这些模型进行深入研究，探索可能的偏见和误用问题，促进AI的负责任使用。
硬件要求与使用便利性
gpt-oss-20b模型的设计使其能够在仅需16GB内存的消费级硬件上运行，极大地降低了使用门槛。这意味着更多的开发者和小型企业可以利用强大的AI能力，而不必依赖昂贵的云服务，促进了AI技术的广泛应用。
延伸问答
gpt-oss-120b和gpt-oss-20b模型的主要特点是什么？
gpt-oss-120b模型支持在单个80GB GPU上运行，激活每个token的5.1亿参数；gpt-oss-20b模型适合16GB内存的消费级硬件，激活3.6亿参数，支持本地推理。
这两个模型支持哪些应用场景？
这两个模型支持链式推理、工具使用和结构化输出，开发者可以配置推理力度以平衡速度和准确性。
gpt-oss-20b模型的硬件要求是什么？
gpt-oss-20b模型需要至少16GB的内存，可以在消费级硬件上运行。
OpenAI如何评估这些模型的风险？
OpenAI通过使用生物和网络安全领域的对抗数据进行最坏情况微调，评估模型的风险，并进行了外部专家审查。
gpt-oss模型的训练技术有哪些？
gpt-oss模型使用旋转位置嵌入、分组多查询注意力，并支持128k的上下文长度。
如何获取gpt-oss模型？
gpt-oss模型可以在Hugging Face和多个部署平台上获取，20B模型可在本地运行。
