AI Gateway上的Gemma 4

AI Gateway上的Gemma 4

💡 原文英文,约200词,阅读约需1分钟。
📝

内容提要

谷歌的Gemma 4 26B(MoE)和31B(Dense)模型已在Vercel AI Gateway上发布。这两个模型基于Gemini 3架构,支持函数调用和结构化JSON输出。26B模型在推理时激活3.8B参数,优化延迟;31B模型激活所有参数,适合高质量输出。用户可在AI SDK中选择模型,AI Gateway提供统一API以便于调用和性能优化。

🎯

关键要点

  • 谷歌的Gemma 4 26B(MoE)和31B(Dense)模型已在Vercel AI Gateway上发布。

  • 这两个模型基于Gemini 3架构,支持函数调用、结构化JSON输出和系统指令。

  • 26B模型在推理时激活3.8B参数,优化延迟和每秒处理速度。

  • 31B模型在推理时激活所有参数,适合高质量输出和微调基础。

  • 用户可在AI SDK中选择模型,AI Gateway提供统一API以便于调用和性能优化。

延伸问答

Gemma 4模型的主要特点是什么?

Gemma 4模型包括26B(MoE)和31B(Dense),支持函数调用、结构化JSON输出和系统指令,基于Gemini 3架构。

26B和31B模型在推理时的参数激活有什么不同?

26B模型在推理时激活3.8B参数,优化延迟;而31B模型激活所有参数,适合高质量输出。

如何在AI SDK中选择使用Gemma 4模型?

用户可以在AI SDK中设置模型为google/gemma-4-31b-it或google/gemma-4-26b-a4b-it。

AI Gateway提供了哪些功能?

AI Gateway提供统一API、使用跟踪、成本管理、性能优化、定制报告和智能提供商路由等功能。

Gemma 4模型适合哪些应用场景?

26B模型适合低延迟应用,31B模型适合需要高质量输出和微调的场景。

Gemma 4模型支持多少种语言?

Gemma 4模型支持140多种语言。

➡️

继续阅读