OpenAI 开源模型 gpt-oss,只需要 16GB 显存。目前可在线试用

OpenAI 开源模型 gpt-oss,只需要 16GB 显存。目前可在线试用

💡 原文中文,约1000字,阅读约需3分钟。
📝

内容提要

OpenAI 开源了两款轻量级语言模型 gpt-oss-120b 和 gpt-oss-20b,均基于 Transformer 架构,支持商用。gpt-oss-120b 拥有 1170 亿参数,适合高性能需求;gpt-oss-20b 拥有 210 亿参数,适合边缘设备。两者可在 Hugging Face 下载和在线试用。

🎯

关键要点

  • OpenAI 开源了两款轻量级语言模型:gpt-oss-120b 和 gpt-oss-20b。
  • 这两款模型基于 Transformer 架构,采用 Apache 2.0 许可证,可商用。
  • gpt-oss-120b 拥有 1170 亿参数,适合高性能需求;gpt-oss-20b 拥有 210 亿参数,适合边缘设备。
  • 两者支持最长 128k 的上下文长度。
  • gpt-oss-120b 在核心推理测试中性能接近 OpenAI 的闭源 o4-mini 模型,适合单个 80GB GPU 运行。
  • gpt-oss-20b 性能接近 o3-mini 模型,仅需 16GB 内存,适合边缘设备和本地推理应用。
  • 模型训练使用了主要为英文的纯文本数据集,重点关注 STEM、编程和通用知识领域。
  • gpt-oss-120b 和 gpt-oss-20b 可在 Hugging Face 下载和在线试用。
  • 建议个人用户尝试 gpt-oss-20b 模型,因其显存需求较低。

延伸问答

gpt-oss-120b 和 gpt-oss-20b 有什么区别?

gpt-oss-120b 拥有 1170 亿参数,适合高性能需求,而 gpt-oss-20b 拥有 210 亿参数,适合边缘设备。

这两款模型的上下文长度是多少?

gpt-oss-120b 和 gpt-oss-20b 支持最长 128k 的上下文长度。

gpt-oss-20b 模型适合什么样的用户?

建议个人用户尝试 gpt-oss-20b 模型,因为它仅需 16GB 显存,适合边缘设备和本地推理应用。

如何在线试用 gpt-oss 模型?

可以直接访问 https://gpt-oss.com/ 在线试用这两个模型。

gpt-oss 模型的训练数据集主要包含什么内容?

模型训练使用了主要为英文的纯文本数据集,重点关注 STEM、编程和通用知识领域。

gpt-oss-120b 在性能上与哪个模型接近?

gpt-oss-120b 在核心推理测试中性能接近 OpenAI 的闭源 o4-mini 模型。

➡️

继续阅读