Vercel News
·
AI Gateway上的Gemma 4
内容提要
谷歌的Gemma 4 26B（MoE）和31B（Dense）模型已在Vercel AI Gateway上发布。这两个模型基于Gemini 3架构，支持函数调用和结构化JSON输出。26B模型在推理时激活3.8B参数，优化延迟；31B模型激活所有参数，适合高质量输出。用户可在AI SDK中选择模型，AI Gateway提供统一API以便于调用和性能优化。
关键要点
-
谷歌的Gemma 4 26B（MoE）和31B（Dense）模型已在Vercel AI Gateway上发布。
-
这两个模型基于Gemini 3架构，支持函数调用、结构化JSON输出和系统指令。
-
26B模型在推理时激活3.8B参数，优化延迟和每秒处理速度。
-
31B模型在推理时激活所有参数，适合高质量输出和微调基础。
-
用户可在AI SDK中选择模型，AI Gateway提供统一API以便于调用和性能优化。
延伸解读
模型选择的实用性
Gemma 4提供了两种不同的模型选择，26B和31B，用户可以根据需求选择适合的模型。26B模型在推理时激活较少参数，适合对延迟敏感的应用，而31B模型则激活所有参数，适合需要高质量输出的场景。这种灵活性使得开发者能够根据具体的应用场景优化性能。
API统一性的重要性
AI Gateway提供统一的API接口，简化了模型调用和性能优化的过程。这意味着开发者可以更方便地管理模型的使用情况、成本和配置，减少了在不同模型间切换时的复杂性。这种设计有助于提升开发效率，尤其是在需要频繁调整模型参数的情况下。
上下文处理能力
Gemma 4支持高达256K的上下文处理能力，这对于需要处理大量信息的应用尤为重要。开发者在设计应用时应考虑这一点，以确保模型能够有效地理解和生成与上下文相关的内容，从而提升用户体验。
延伸问答
Gemma 4模型的主要特点是什么？
Gemma 4模型包括26B（MoE）和31B（Dense），支持函数调用、结构化JSON输出和系统指令，基于Gemini 3架构。
26B和31B模型在推理时的参数激活有什么不同？
26B模型在推理时激活3.8B参数，优化延迟；而31B模型激活所有参数，适合高质量输出。
如何在AI SDK中选择使用Gemma 4模型？
用户可以在AI SDK中设置模型为google/gemma-4-31b-it或google/gemma-4-26b-a4b-it。
AI Gateway提供了哪些功能？
AI Gateway提供统一API、使用跟踪、成本管理、性能优化、定制报告和智能提供商路由等功能。
Gemma 4模型适合哪些应用场景？
26B模型适合低延迟应用，31B模型适合需要高质量输出和微调的场景。
Gemma 4模型支持多少种语言？
Gemma 4模型支持140多种语言。
