谷歌推出Gemini智能体视频理解功能

💡 原文英文,约1100词,阅读约需4分钟。
📝

内容提要

谷歌推出Gemini 3.7 Flash等模型的智能体视频理解功能,通过动态扫描视频片段,将令牌消耗降低88%,成本降低66%,准确率提升7%。该功能支持子秒级检索、异常检测和精确计数,适用于长视频分析,现已通过Gemini API提供。

🔎

延伸解读

动态扫描如何降低视频分析成本

传统静态处理以固定帧率(默认1 FPS)分析视频,长视频会消耗大量令牌。谷歌的新功能让模型通过内部工具动态搜索、扫描和检查目标片段,仅提取所需时刻和信号,从而将令牌消耗降低最多88%,成本降低最多66%。这种按需处理方式尤其适合10分钟到90分钟以上的长视频,开发者无需再在高成本和细节丢失之间权衡。

新功能带来的具体应用场景

该功能支持子秒级时刻检索,能捕捉1 FPS下容易错过的快速状态变化和剪辑边界,适用于精确的视频编辑。此外,它还能在数小时视频中高效搜索特定内容(“大海捞针”),检测异常时可按需提高帧率,以及准确计数重复动作和物体。这些能力为长视频分析、监控和运动分析等应用提供了新的可能性。

模型选择与成本考量

该功能适用于Gemini 3.7 Flash、3.6 Flash和3.5 Flash-Lite,且不额外收费,仅按标准API令牌计费。其中,Gemini 3.7 Flash在质量与成本效率上表现最佳,处于准确率与成本的帕累托前沿。开发者可通过在API配置中设置“agentic”来启用,无需手动实现复杂的视频处理逻辑,从而降低开发开销。

❓

Q&A

谷歌新推出的智能体视频理解功能是什么?

谷歌推出的智能体视频理解功能是一种视频分析能力,它让Gemini模型能够动态扫描视频片段,而不是像以前那样固定帧率处理整个视频。该功能可以显著降低令牌消耗和成本,同时提高准确性,并支持子秒级检索、异常检测和精确计数等新能力。

智能体视频理解功能支持哪些模型?

该功能支持Gemini 3.7 Flash、3.6 Flash和3.5 Flash-Lite模型。

智能体视频理解功能相比传统静态处理有哪些优势?

相比传统静态处理,智能体视频理解功能可以动态搜索和扫描视频片段,只处理需要的部分,从而将令牌消耗降低高达88%,成本降低高达66%,同时准确率提升高达7%。此外,它还支持子秒级检索、异常检测和精确计数等新能力。

如何启用智能体视频理解功能?

您可以通过在Google AI Studio或Gemini Enterprise Agent Platform中设置API配置为“agentic”来启用该功能。它使用标准的Gemini API令牌定价,没有额外功能费用。

智能体视频理解功能有哪些实际应用场景?

该功能适用于多种场景,包括子秒级时刻检索(如精确编辑视频)、长视频中的针尖搜索(如多小时的录像中查找特定内容)、异常检测(如监控视频中的异常行为)、以及动作和物体计数(如统计重复动作或物体数量)。

智能体视频理解功能在哪些产品中可用?

该功能目前通过Gemini API在Google AI Studio和Gemini Enterprise Agent Platform中提供,支持视频上传和YouTube视频。未来还将推广到Gemini应用和YouTube的“Ask YouTube”功能。

🏷️

标签

➡️

继续阅读