谷歌正式推出Gemini 1.5 Pro 能够理解音频支持系统指令/JSON模式
内容提要
谷歌宣布全球推出Gemini 1.5 Pro模型，具有音频理解能力和1M上下文窗口。新增系统指令和JSON功能，提供更好的模型控制。Gemini 1.5 Pro的输入模式扩展到音频和视频，支持系统指令功能和JSON模式。开发者可通过Gemini API访问下一代文本嵌入模型。谷歌官方博客链接：https://developers.googleblog.com/2024/04/gemini-15-pro-in-public-preview-with-new-features.html
延伸解读
音频与视频输入：多模态能力再扩展
Gemini 1.5 Pro 在原有文本和图像基础上，新增了音频理解能力，并能对上传视频中的图像帧和音频进行推理。这意味着开发者可以构建需要同时处理语音、画面和文本的应用，例如视频内容分析或语音交互工具。不过，视频的 API 支持尚未完全开放，谷歌表示很快会添加，当前需留意官方更新。
系统指令与 JSON 模式：提升控制力与结构化输出
系统指令允许开发者定义模型角色、格式、目标和规则，从而更精准地引导响应，适合需要固定风格或严格遵循规则的场景。JSON 模式则强制模型仅输出 JSON 对象，便于从文本或图像中提取结构化数据，并支持 cURL 调用，未来将支持 Python SDK。两者结合可提高应用可靠性和集成效率。
函数调用改进与嵌入模型更新
函数调用方面，开发者现在可以选择限制模型输出类型，如仅文本、函数调用或仅函数本身，这有助于减少无关输出，提升可靠性。同时，谷歌推出了下一代文本嵌入模型 text-embedding-004 和 text-embedding-preview-0409，可通过 Gemini API 访问，官方称其在 MTEB 基准测试中检索性能更强，且与现有模型维度可比。
Q&A
Gemini 1.5 Pro模型的主要功能是什么？
Gemini 1.5 Pro模型具有音频理解能力、1M上下文窗口，并新增系统指令和JSON功能。
开发者如何使用Gemini API？
开发者可以通过Google Ai Studio创建和访问API密钥，然后调用Gemini API进行构建。
Gemini 1.5 Pro支持哪些输入模式？
Gemini 1.5 Pro支持音频和视频输入模式，能够对上传的音频和视频进行推理。
系统指令功能如何帮助开发者？
系统指令功能允许开发者定义角色、格式、目标和规则，以引导模型的响应。
JSON模式的主要特点是什么？
JSON模式使模型输出为JSON对象，可以从文本或图像中提取结构化数据。
Gemini 1.5 Pro在性能上有什么改进？
Gemini 1.5 Pro的新嵌入式模型在MTEB基准测试中表现更强，提供更好的检索性能。
