内容提要
OpenAI发布了gpt-oss-120b和gpt-oss-20b两个开放权重语言模型,支持高效推理和工具使用。120b模型可在单个80GB GPU上运行,超越o4-mini;20b模型适合16GB内存的消费级硬件,支持本地推理。两者可配置推理力度,适用于多种应用场景。模型经过风险评估,并接受外部专家审查,推出红队挑战以进一步评估。
关键要点
-
OpenAI发布了gpt-oss-120b和gpt-oss-20b两个开放权重语言模型,支持高效推理和工具使用。
-
gpt-oss-120b模型在单个80GB GPU上运行,超越o4-mini,激活每个token的5.1亿参数。
-
gpt-oss-20b模型适合16GB内存的消费级硬件,支持本地推理,激活3.6亿参数。
-
两个模型支持链式推理、工具使用和结构化输出,开发者可配置推理力度。
-
模型使用了旋转位置嵌入和分组多查询注意力,支持128k上下文长度,经过多项基准测试评估。
-
OpenAI未对模型的链式推理进行直接监督,允许研究人员研究潜在问题。
-
OpenAI进行了最坏情况微调,使用生物和网络安全领域的对抗数据评估风险。
-
外部专家审查结果影响了模型的最终发布,OpenAI推出了红队挑战以进一步评估模型。
-
模型可在Hugging Face和多个部署平台上获取,20B模型可在本地运行,需16GB内存。
-
微软将通过ONNX Runtime为Windows带来20B模型的GPU优化版本。
延伸问答
gpt-oss-120b和gpt-oss-20b模型的主要特点是什么?
gpt-oss-120b模型支持在单个80GB GPU上运行,激活每个token的5.1亿参数;gpt-oss-20b模型适合16GB内存的消费级硬件,激活3.6亿参数,支持本地推理。
这两个模型支持哪些应用场景?
这两个模型支持链式推理、工具使用和结构化输出,开发者可以配置推理力度以平衡速度和准确性。
gpt-oss-20b模型的硬件要求是什么?
gpt-oss-20b模型需要至少16GB的内存,可以在消费级硬件上运行。
OpenAI如何评估这些模型的风险?
OpenAI通过使用生物和网络安全领域的对抗数据进行最坏情况微调,评估模型的风险,并进行了外部专家审查。
gpt-oss模型的训练技术有哪些?
gpt-oss模型使用旋转位置嵌入、分组多查询注意力,并支持128k的上下文长度。
如何获取gpt-oss模型?
gpt-oss模型可以在Hugging Face和多个部署平台上获取,20B模型可在本地运行。