/cdn.vox-cdn.com/uploads/chorus_asset/file/24016883/STK093_Google_06.jpg)
谷歌的Gemini 1.5 Pro现在可以听见
内容提要
Google更新了Gemini 1.5 Pro模型，具备听力功能，无需书面转录。Gemini 1.5 Pro超越了最强大的模型Gemini Ultra。Google还将在Imagen 2上添加修复和填充功能，并应用SynthID数字水印功能。Google公开预览了将AI响应与Google搜索联系起来的方法。Gemini故意不回答与2024年美国选举有关的问题。
延伸解读
音频处理能力：无需转录的便利
Gemini 1.5 Pro新增的听力功能允许直接处理上传的音频文件，无需依赖书面转录。这意味着用户可以直接从财报电话会议或视频音频中提取信息，省去了先转录再分析的步骤，提升了效率。对于需要快速处理大量音频内容的企业用户来说，这一功能可能显著简化工作流程。
性能超越旗舰：中量级模型的逆袭
尽管Gemini 1.5 Pro被定位为Gemini系列的中量级模型，但其性能已经超越了该系列最大、最强大的Gemini Ultra。谷歌声称，Gemini 1.5 Pro能够理解复杂指令，并消除了微调模型的需求。这可能会改变开发者选择模型的考量，以更低的成本获得更强的性能。
访问限制：Vertex AI用户先行
目前，Gemini 1.5 Pro仅通过Vertex AI平台向公众开放，普通用户无法直接使用。大多数用户通过Gemini聊天机器人接触到的仍是Gemini Ultra驱动的Gemini Advanced。虽然Ultra功能强大且能理解长指令，但速度不及1.5 Pro。这种访问限制意味着新功能将首先惠及开发者和企业用户。
图像编辑与水印：Imagen 2的更新
Imagen 2模型新增了修复和填充功能，允许用户从图像中添加或移除元素。同时，谷歌在所有由Imagen生成的图片上应用了SynthID数字水印，这是一种对观看者不可见的水印，可通过检测工具验证图像来源。这些功能在Stable Cascade等模型中已有类似实现，但SynthID为图像溯源提供了额外保障。
Q&A
Gemini 1.5 Pro的新功能是什么？
Gemini 1.5 Pro现在具备听力功能，可以处理上传的音频文件，无需书面转录。
Gemini 1.5 Pro与Gemini Ultra相比有什么优势？
Gemini 1.5 Pro在性能上超越了Gemini Ultra，并能理解复杂指令，消除了微调模型的需求。
谁可以使用Gemini 1.5 Pro？
目前Gemini 1.5 Pro仅对Vertex AI用户开放，普通用户通过Gemini聊天机器人接触Gemini语言模型。
Google对Imagen 2模型进行了哪些更新？
Imagen 2将增加修复和填充功能，并在所有生成的图片上应用SynthID数字水印功能。
Google如何将AI响应与搜索结合？
Google正在公开预览将AI响应与Google搜索结合的方法，以提供最新信息。
Gemini 1.5 Pro是否会回答与2024年美国选举相关的问题？
Google故意不让Gemini回答与2024年美国选举相关的问题。
