# LlamaIndex 数据摄入管道 [译]

- Link: https://paooo.com/ai-study/8538/
- Published: 2024-09-08T18:21:03+08:00
- Author: 宝玉的分享

⚡ Prompt 语宙 AI 导读 · 30 秒核心看点支持将切分、元数据提取与嵌入串成统一摄入流程，适合 RAG 前置处理。内置缓存与 docstore，可复用变换结果并识别重复文档，减少重复计算。可直接写入向量库并持久化管道状态，便于后续构建向量索引。 pipeline = IngestionPipeline( transformations=[ SentenceSplitter(chunk_size=25, chunk_overlap=0), TitleExtractor(), OpenAIEmbedding(), ] ) pipeline = IngestionPipeline( transformations=[ SentenceSplitter(chunk_size=25, chunk_overlap=0), TitleExtractor(), OpenAIEmbedding(), ], cache=IngestionCache( cache=RedisCache( redis_uri="redis://127.0.0.1:6379", collection="test_cache" ) ), ) pipeline = IngestionPipeline( transformations=[ SentenceSplitter(chunk_size=25, chunk_overlap=0), TitleExtractor(), OpenAIEmbedding(), ], docstore=SimpleDocumentStore() ) import qdrant_client client = qdrant_client.QdrantClient(location=":memory:") vector_store = QdrantVectorStore(client=client, collection_name="test_store") pipeline = IngestionPipeline( transformations=[ SentenceSplitter(chunk_size=25, chunk_overlap=0), TitleExtractor(), OpenAIEmbedding(), ], vector_store=vector_store, ) # Ingest directly into a vector db pipeline.run(documents=[Document.example()]) from llama_index import VectorStoreIndex index = VectorStoreIndex.from_vector_store(vector_store) pipeline = IngestionPipeline( transformations=[ SentenceSplitter(chunk_size=25, chunk_overlap=0), TitleExtractor(), OpenAIEmbedding(), ] ) # Now let's save the pipeline (cache and docstore) pipeline.persist('./pipeline_storage') pipeline.load('./pipeline_storage') 📋 一键复制 Prompt 咒语 LlamaIndex 的数据摄入管道是一种全新且改进的方法，用于高效摄入和管理数据文档。阅读目录数据变换缓存机制文档管理策略集成向量存储数据持久化结论 这一管道特别适用于需要将输入文档经过一系列处理步骤（如切分、嵌入等）后才进行索引建立的情况，比如我们的 RAG 管道就是这样。 此外，它还具备缓存、文档存储管理、向量存储更新等实用功能。 数据变换 数据变换是数据摄入管道的核心组件。 每个数据变换都会接收一个节点列表，经过一系列必要的修改后，输出另一个节点列表。数据摄入管道就是由这些有序的数据变换步骤组成的。 我们在初始化管道时即定义这些数据变换。 我们可以使用的数据变换包括： 文本分割器（TextSplitter） 节点解析器（NodeParser） 元数据提取器（MetadataExtractor） 任何嵌入模型（Any embedding model） 我们也可以根据需要创建自定义的数据变换。相关指南即将发布。 缓存机制 在管道运行过程中，一个变换的输出会成为下一个变换的输入。 管道会缓存节点列表和变换对。因此，如果我们对相同的节点列表进行重复的变换操作，管道会直接从缓存中获取结果。 我们可以通过执行 ingest_cache.clear() 来清除缓存。 此外，我们还可以利用 Redis 等服务来实现更高级的缓存机制： 文档管理策略 为了避免对同一文档重复执行变换，数据摄入管道利用文档的 ID 和内容哈希来识别并处理重复文档。 启用文档管理功能，需要将文档存储系统（docstore）集成到管道中。 系统会比较文档存储中已有文档的哈希值和输入文档的哈希值，从而筛选出不需要变换的文档。 文档管理主要有三种策略： 仅检查文档重复情况 实现文档的更新操作 在更新文档的同时删除旧文档。 更多细节的指南即将发布。 集成向量存储 如果向管道中添加了向量存储（vectorstore），管道会自动将经过一系列变换后的最终输出节点加入到这个向量存储中。 接着，我们可以利用这个已填充的向量存储来创建向量存储索引。 为了实现这一点，变换序列中的最后一个步骤必须是一个嵌入（embedding）变换。 数据持久化 数据摄入管道支持将缓存和文档存储持久化到一个文件夹中（默认路径为 ./pipeline_storage）。 定义好管道后，我们需要像下面这样从存储中加载它： 这样一来，当我们运行管道时，它会先利用已有的缓存数据，同时跳过文档存储中已存在的同一文档。 需要注意的是，如果我们使用的是远程缓存或文档存储系统，例如 Redis，那么上述的持久化步骤就不必要了。 结论 综上所述，LlamaIndex 的新型数据摄入管道不仅提高了文档摄入和管理的效率，还使得对文档执行一系列变换变得直观且高效。 欲了解更多，请查看官方文档：摄入管道 感谢您的阅读，敬请期待更多内容。 我会定期在 Twitter 上分享关于这些主题及我正在探索的内容。欢迎在 Twitter 上关注我。 ❓ 常见问题解答（FAQ）LlamaIndex 数据摄入管道适合什么场景？它适合需要先对文档做切分、提取元数据、生成嵌入，再进入索引或向量库的场景，尤其适用于 RAG 数据预处理。数据摄入管道的缓存机制有什么作用？缓存会保存节点列表与变换对的结果，重复处理相同输入时可直接复用缓存，减少重复计算；也可通过清除缓存重新执行。管道如何避免重复处理同一文档？通过 docstore 结合文档 ID 和内容哈希识别重复文档，系统会对比存量与输入文档的哈希，从而跳过不需要变换的内容。🔬 语宙深潜追问 · 进阶实操拆解LlamaIndex管道如何提升检索命中率？先优化切分策略，让文本块既保留语义又不过长；再补充标题、元数据和结构化字段，提升召回质量。随后结合合适的 embedding 模型与重排策略，通常比单纯换向量库更有效。如何让数据摄入管道可复用可维护？把清洗、切分、嵌入和入库拆成可配置步骤，并为每一步保留版本与缓存。这样当数据源变化或模型升级时，只需局部重跑，既节省成本，也方便回滚和审计。🗳️ 读者观点微投票 · 您的实战立场是？RAG 数据管道最该先优化哪一步？切分与清洗优先投票Embedding 质量优先投票缓存与复用优先投票🕸️ 语宙向量知识图谱 · 语义强关联深度内链🔓 所属权威专题：开源大模型与端侧推理 →在本地运行 Mixtral 8×7 与 LlamaIndex [译]构建高级 RAG 的指南和技巧 [译]LlamaIndex提升 RAG 效能：如何挑选最佳的嵌入与重排模型 [译] 🏛️ 宝玉的分享 · 前沿大模型翻译与提示词工程实战分享专栏，聚焦海外一手 AI 技术动态与工程实践。📄 Markdown 纯净版 💡 这篇内容对您有启发吗？👍 干货满满🔍 期待更深拆解📡 RSS 订阅✨ 提交 AI 工具 / 合作 🚀 Prompt 语宙 AI 创作者生态：探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
