LlamaIndex 数据摄入管道 [译]

LlamaIndex的数据摄入管道是一种高效的数据文档摄入和管理方法，适用于需要进行多步处理后建立索引的情况。它具备缓存、文档存储管理和向量存储更新等功能。数据变换是管道的核心组件，可以使用现有的数据变换或创建自定义的变换。管道还支持缓存机制和文档管理策略，以避免重复处理文档。此外，管道还可以与向量存储集成，实现向量存储索引。数据摄入管道还支持将缓存和文档存储持久化到文件夹中。总之，LlamaIndex的数据摄入管道提高了文档摄入和管理的效率。