LlamaIndex 更新 — 2023年7月11日
内容提要
LlamaIndex更新了多个功能，包括与Anyscale合作以提升性能，改进文档元数据表示，支持文本和结构化API，集成Chainlit.io和DePlot模型，增强SQL查询能力，推出递归检索和OpenAI代理流式功能。这些更新旨在提升用户体验和数据处理效率，鼓励社区参与。
延伸解读
性能提升与部署简化
LlamaIndex与Anyscale合作，利用Ray平台将操作速度提升十倍，并简化了生产部署。Ray的分布式工具包支持高效任务并行化，而Ray Serve则确保查询引擎轻松部署到生产环境。这一合作显著提升了LlamaIndex的性能和可扩展性，适合需要处理大规模数据或高并发查询的场景。
元数据管理增强检索控制
LlamaIndex改进了文档元数据表示，用元数据字典替代原有的extra_info和node_info字段。用户现在可以精确控制数据，例如在嵌入或LLM预测时排除特定元数据键。这提升了LLM和检索性能，并支持自定义元数据注入、格式化和模板创建，为复杂应用提供了更灵活的检索策略。
递归检索处理层次化知识
递归检索利用知识的层次结构，允许节点引用其他检索器或查询引擎。查询时，如果顶层节点包含IndexNode，则会触发另一个检索器或查询引擎，从而深入探索相关数据。例如，从PDF提取的结构化表格可表示为数据框，并通过IndexNode嵌入其他节点。这种方法适合处理嵌套或关联性强的复杂查询。
SQL查询能力显著提升
LlamaIndex增强了文本到SQL的能力，提供默认SQL查询引擎和带对象索引的引擎，后者可处理大型表模式。默认引擎只需SQL数据库即可使用，而对象索引引擎能索引大型表模式。此外，集成duckdb进一步简化了SQL查询过程。这些升级降低了使用门槛，并提高了处理复杂数据库查询的效率。
Q&A
LlamaIndex与Anyscale的合作有什么重要性？
LlamaIndex与Anyscale的合作利用Ray平台提升性能，使操作速度提高十倍，简化了生产服务器的部署。
LlamaIndex的新功能有哪些？
新功能包括改进的文档元数据表示、支持文本和结构化API、与Chainlit.io集成、引入DePlot模型等。
如何提高LlamaIndex的SQL查询能力？
LlamaIndex显著提升了文本到SQL的能力，简化了SQL查询过程，并与duckdb集成，支持大表模式的索引。
什么是递归检索，它如何工作？
递归检索利用知识的层次结构，通过节点引用其他检索器或查询引擎，进行复杂查询。
LlamaIndex如何支持代码提取功能？
LlamaIndex的代码提取功能支持从任意文本中高效提取数据，提供多种提取模式，包括单值和多值提取。
LlamaIndex如何增强信息检索的相关性？
通过五个关键的MetadataExtractor模块，LlamaIndex自动提取元数据，增强信息检索的相关性和精确性。
