技术速递｜使用 AI Toolkit 构建基于 gpt-oss-20b 的应用程序
💡
原文中文，约2800字，阅读约需7分钟。
📝
内容提要
OpenAI发布了gpt-oss-20b和gpt-oss-120b开源模型，支持本地部署。AI Toolkit扩展帮助开发者在VS Code中测试模型和构建应用，适用于边缘设备。这两款模型具备强大推理能力，支持多种应用场景，并允许免费商用和修改。
🎯
关键要点
- OpenAI发布了gpt-oss-20b和gpt-oss-120b开源模型，支持本地部署。
- AI Toolkit扩展帮助开发者在VS Code中测试模型和构建应用，适用于边缘设备。
- gpt-oss-120b拥有1170亿参数，gpt-oss-20b拥有210亿参数，均具备强大推理能力。
- 两款模型支持128k上下文长度、完整的推理链和结构化输出，允许免费商用和修改。
- 模型兼容多种推理框架，并经过严格的安全测试，适用于多个领域。
- 开发者可以在本地环境基于gpt-oss-20b构建应用，使用AI Toolkit进行部署和测试。
- AI Toolkit支持本地模型部署、测试和应用评估，加速模型与应用场景的集成。
❓
延伸问答
gpt-oss-20b和gpt-oss-120b的主要特点是什么？
gpt-oss-20b拥有210亿参数，适合消费级硬件，而gpt-oss-120b拥有1170亿参数，性能强大，适合高端设备。两者均支持128k上下文长度和结构化输出。
如何在本地环境中部署gpt-oss-20b？
在VS Code中安装AI Toolkit扩展，访问模型目录，选择gpt-oss-20b并点击“Add Model”按钮，AI Toolkit会自动下载并部署模型。
AI Toolkit的功能有哪些？
AI Toolkit支持模型测试、本地部署、应用评估和智能Agent构建，提供完整的开发工作流。
gpt-oss-20b的应用场景有哪些？
gpt-oss-20b适用于编程、智能Agent构建等多种应用场景，支持本地和边缘设备的部署。
gpt-oss模型的许可证是什么？
gpt-oss模型采用Apache 2.0许可证，允许免费商用、修改和再分发。
gpt-oss-20b与Ollama的集成如何进行？
安装Ollama后，通过AI Toolkit将gpt-oss-20b添加到资源中，使用Ollama以gguf格式进行部署。
➡️
