OpenAI发布gpt-oss-120b和gpt-oss-20b,开放权重语言模型,支持本地部署

OpenAI发布gpt-oss-120b和gpt-oss-20b,开放权重语言模型,支持本地部署

💡 原文英文,约500词,阅读约需2分钟。
📝

内容提要

OpenAI发布了gpt-oss-120b和gpt-oss-20b两个开放权重语言模型,支持高效推理和工具使用。120b模型可在单个80GB GPU上运行,超越o4-mini;20b模型适合16GB内存的消费级硬件,支持本地推理。两者可配置推理力度,适用于多种应用场景。模型经过风险评估,并接受外部专家审查,推出红队挑战以进一步评估。

🎯

关键要点

  • OpenAI发布了gpt-oss-120b和gpt-oss-20b两个开放权重语言模型,支持高效推理和工具使用。

  • gpt-oss-120b模型在单个80GB GPU上运行,超越o4-mini,激活每个token的5.1亿参数。

  • gpt-oss-20b模型适合16GB内存的消费级硬件,支持本地推理,激活3.6亿参数。

  • 两个模型支持链式推理、工具使用和结构化输出,开发者可配置推理力度。

  • 模型使用了旋转位置嵌入和分组多查询注意力,支持128k上下文长度,经过多项基准测试评估。

  • OpenAI未对模型的链式推理进行直接监督,允许研究人员研究潜在问题。

  • OpenAI进行了最坏情况微调,使用生物和网络安全领域的对抗数据评估风险。

  • 外部专家审查结果影响了模型的最终发布,OpenAI推出了红队挑战以进一步评估模型。

  • 模型可在Hugging Face和多个部署平台上获取,20B模型可在本地运行,需16GB内存。

  • 微软将通过ONNX Runtime为Windows带来20B模型的GPU优化版本。

延伸问答

gpt-oss-120b和gpt-oss-20b模型的主要特点是什么?

gpt-oss-120b模型支持在单个80GB GPU上运行,激活每个token的5.1亿参数;gpt-oss-20b模型适合16GB内存的消费级硬件,激活3.6亿参数,支持本地推理。

这两个模型支持哪些应用场景?

这两个模型支持链式推理、工具使用和结构化输出,开发者可以配置推理力度以平衡速度和准确性。

gpt-oss-20b模型的硬件要求是什么?

gpt-oss-20b模型需要至少16GB的内存,可以在消费级硬件上运行。

OpenAI如何评估这些模型的风险?

OpenAI通过使用生物和网络安全领域的对抗数据进行最坏情况微调,评估模型的风险,并进行了外部专家审查。

gpt-oss模型的训练技术有哪些?

gpt-oss模型使用旋转位置嵌入、分组多查询注意力,并支持128k的上下文长度。

如何获取gpt-oss模型?

gpt-oss模型可以在Hugging Face和多个部署平台上获取,20B模型可在本地运行。

➡️

继续阅读