OpenSearch资深团队推出Infino,为何这对AI代理构建者至关重要

OpenSearch资深团队推出Infino,为何这对AI代理构建者至关重要

💡 原文英文,约1400词,阅读约需6分钟。
📝

内容提要

Infino推出面向AI代理的数据检索平台,将数据以Parquet格式存于对象存储,把关键词、语义搜索、过滤、聚合整合为单一SQL查询,替代数据仓库、搜索引擎、向量库和ETL的碎片化架构。代理查询需大量小查询,Infino称可降成本约10倍,核心引擎已开源。

🔎

延伸解读

代理查询模式与传统数据栈的错配

文章指出,AI代理的查询方式与人类或传统应用截然不同:代理会为回答一个大问题而同时发起许多小查询,每个结果都消耗上下文并可能增加后续模型调用的成本和延迟。而现有数据栈(数据仓库、搜索引擎、向量库、ETL)是为“一次查询、等待、读取”的模式设计的,导致代理需要跨多个系统调用并自行组合结果。Infino试图通过将检索功能嵌入SQL,让代理用单一查询表达完整问题,从而消除这种错配。

单一Parquet副本带来的治理与成本优势

Infino将数据以Parquet格式存储在对象存储中,并在Parquet文件内嵌入搜索索引,使同一份数据可被不同工具读取。这种单一副本架构不仅减少了ETL管道和系统间同步的复杂性,还让开发者能在中心位置实施硬性策略,控制代理可读取的行列和日志记录。据Infino称,其架构比传统搜索或分析基础设施便宜约10倍,其自身对比显示比Elasticsearch便宜约10.5倍,比OpenSearch便宜约23倍。

开源核心与托管服务的边界

Infino的核心引擎以Apache-2.0协议在GitHub开源,所有数据存储为有效的Parquet文件,任何能读取Parquet的工具都可以在不依赖Infino的情况下读取数据。Infino Cloud作为托管服务,提供额外专有功能,例如直接指向现有Parquet数据并使其可搜索,而无需自建基础设施。这种模式降低了供应商锁定的风险,同时为需要托管便利的团队提供了选择。

适用场景与潜在限制

Infino特别适合已使用Parquet或考虑迁移到Parquet的代理用例团队,以及希望替换搜索工具以获得更易管理和扩展性的团队。文章提到,Infino已支持数十亿文档的用例,包括人员搜索、文档处理、产品分析和安全。然而,其性能优势基于自身发布的对比测试,实际效果可能因工作负载而异。此外,代理在检索循环中花费大量时间的问题,Infino通过集成针对性推理模型来缓解,但具体效果未在文中量化。

❓

Q&A

Infino是什么?它主要解决什么问题?

Infino是一个面向AI代理的数据检索平台,旨在为所有AI代理提供统一的检索层。它解决的是代理查询数据时面临的碎片化架构问题:传统上需要数据仓库、搜索引擎、向量数据库和ETL管道分别处理,而Infino将这些功能整合到一个系统中,让代理能够直接查询所有数据。

为什么说AI代理改变了数据查询范式?

因为代理不像人类那样查询数据。代理会发出许多小查询来回答一个大问题,并且经常同时进行。每个结果都会消耗上下文,并可能增加后续模型调用的成本和延迟。传统数据存储是为人类或应用设计的,它们一次写一个查询、等待并读取结果,而代理是新的数据消费者,现有数据存储并未针对这种模式优化。

Infino如何存储数据?这种存储方式有什么好处?

Infino将数据以Apache Parquet格式存储在对象存储中,并将搜索索引嵌入在Parquet文件页脚旁边。好处是:任何能读取Parquet的工具都可以读取数据,无论是否使用Infino;一份数据副本可以同时服务于搜索、向量和分析等不同查询需求;Iceberg和Hudi可以管理同一张表,Spark、DuckDB、数据仓库等Parquet读取器也能读取。

Infino声称能降低多少成本?与哪些系统相比?

Infino声称其架构比传统搜索或分析基础设施便宜约10倍。根据其发布的比较,在测试的工作负载中,它比Elasticsearch便宜约10.5倍,比OpenSearch便宜23倍。

Infino的核心引擎是开源的吗?开源协议是什么?

是的,Infino的核心引擎是开源的,采用Apache-2.0协议,代码托管在GitHub上。Infino Cloud是托管服务,包含一些额外的专有功能,例如可以直接指向现有的Parquet数据并使其可搜索,而无需自己构建基础设施。

Infino适合哪些团队使用?

Infino特别适合已经使用Parquet或考虑迁移到Parquet的代理用例团队,或者希望用更易管理、更具扩展性的方案替换现有搜索工具的团队。它支持多十亿文档的用例,如人员搜索、文档处理、产品分析和安全领域。

🏷️

标签

➡️

继续阅读