Jockey：由Twelve Labs API和LangGraph驱动的对话视频代理
内容提要
Twelve Labs提供视频理解API，从视频内容中提取洞察力。他们提供视频搜索、分类、摘要、问答等功能。LangChain发布了LangGraph v0.1，这是一个构建主动和多主体应用程序的框架。LangGraph Cloud提供可扩展的基础设施，用于部署LangGraph代理。开源对话视频代理Jockey现在使用LangGraph和Twelve Labs API来提高可扩展性和功能性。Jockey的架构包括监督者、规划者和工作者，可以高效处理与视频相关的任务。通过修改提示、扩展状态或添加新的工作者，可以定制Jockey。LangGraph和Twelve Labs API的结合使Jockey能够处理视频理解和操作任务。
延伸解读
视频理解的技术路径差异
Twelve Labs API 直接基于视频基础模型处理视频，不依赖预生成的字幕等中间表示。这意味着它能同时理解画面、音频、屏幕文字和时间关系，从而提供更准确、更具上下文的理解。对于需要深度分析视频内容的应用，这种原生视频理解方式可能比传统基于文本转录的方法更有效。
LangGraph 带来的控制力提升
与旧版 LangChain AgentExecutor 相比，LangGraph 提供了更灵活的 API 和底层控制，允许开发者自定义认知架构，精确控制代码、提示和 LLM 调用的流程。其内置的持久化层支持人工审批和“时间旅行”编辑，提高了代理的可靠性。这对于构建需要高可靠性的多代理应用至关重要。
Jockey 的多代理架构如何工作
Jockey 采用监督者、规划者和工作者三层架构。监督者负责路由任务和管理工作流，规划者将复杂请求分解为步骤，工作者（包括视频搜索、文本生成和编辑）执行具体任务。这种分工使系统能动态适应从简单文本回复到复杂视频操作的各种查询，并优化令牌使用。
定制 Jockey 的两种方式
开发者可以通过两种方式定制 Jockey：一是“提示即功能”，通过修改提示来添加新功能，无需改动代码；二是直接修改组件，如编辑监督者、规划者或工作者的提示，扩展状态以处理新数据，或添加新的工作者来集成新 API。这种模块化设计使其能灵活适应特定用例。
Q&A
Twelve Labs的API有哪些主要功能？
Twelve Labs的API支持视频搜索、分类、摘要和问答等功能。
LangGraph的主要特点是什么？
LangGraph提供灵活的API，支持定制认知架构和人机协作，增强了对任务执行的控制。
Jockey的架构是怎样的？
Jockey的架构包括监督者、规划者和工作者，能够高效处理复杂的视频相关任务。
如何定制Jockey以满足特定需求？
开发者可以修改提示、扩展状态或添加新工作者来定制Jockey。
Jockey如何处理视频相关任务？
Jockey通过LangGraph和Twelve Labs API结合，智能处理视频搜索、编辑和生成文本等任务。
LangGraph Cloud的作用是什么？
LangGraph Cloud提供可扩展的基础设施，用于部署LangGraph代理，支持高并发用户和长时间任务管理。
