# DREAM: 分布式 RAG 实验框架 [译]

- Link: https://paooo.com/ai-study/8703/
- Published: 2025-04-15T15:29:15+08:00
- Author: 宝玉的分享

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * DREAM 提供 Kubernetes 原生的分布式 RAG 实验蓝图，覆盖实验、评估与监控全流程。
 * 框架整合 Ray、LlamaIndex、Ragas、MLflow 和 MinIO，支持黄金数据集生成与批量评测。
 * 实测可对比多种 RAG 方法、LLM 与嵌入模型组合，借助指标筛选更适合的方案。

使用 Ray, LlamaIndex, Ragas, MLFlow 和 MinIO 在 Kubernetes 上的分布式 RAG 实验蓝图

阅读目录

 * [1. 🌟 什么是 DREAM?](https://paooo.com/ai-study/8703/#1-%f0%9f%8c%9f-%e4%bb%80%e4%b9%88%e6%98%af-dream)
    - [a. 🤔 这究竟是什么？](https://paooo.com/ai-study/8703/#a-%f0%9f%a4%94-%e8%bf%99%e7%a9%b6%e7%ab%9f%e6%98%af%e4%bb%80%e4%b9%88)
    - [b. 🏛️ 架构](https://paooo.com/ai-study/8703/#b-%f0%9f%8f%9b%ef%b8%8f-%e6%9e%b6%e6%9e%84)
    - [c. 💻 展示代码！](https://paooo.com/ai-study/8703/#c-%f0%9f%92%bb-%e5%b1%95%e7%a4%ba%e4%bb%a3%e7%a0%81)
 * [2. 🚶 代码导览](https://paooo.com/ai-study/8703/#2-%f0%9f%9a%b6-%e4%bb%a3%e7%a0%81%e5%af%bc%e8%a7%88)
    - [a. 📂 准备非结构化数据](https://paooo.com/ai-study/8703/#a-%f0%9f%93%82-%e5%87%86%e5%a4%87%e9%9d%9e%e7%bb%93%e6%9e%84%e5%8c%96%e6%95%b0%e6%8d%ae)
    - [b. 🥇 分布式创建黄金数据集 这里开始变得有趣！](https://paooo.com/ai-study/8703/#b-%f0%9f%a5%87-%e5%88%86%e5%b8%83%e5%bc%8f%e5%88%9b%e5%bb%ba%e9%bb%84%e9%87%91%e6%95%b0%e6%8d%ae%e9%9b%86-%e8%bf%99%e9%87%8c%e5%bc%80%e5%a7%8b%e5%8f%98%e5%be%97%e6%9c%89%e8%b6%a3)
    - [c. 🔬 分布式实验与评价](https://paooo.com/ai-study/8703/#c-%f0%9f%94%ac-%e5%88%86%e5%b8%83%e5%bc%8f%e5%ae%9e%e9%aa%8c%e4%b8%8e%e8%af%84%e4%bb%b7)
    - [d. 📊 实验追踪](https://paooo.com/ai-study/8703/#d-%f0%9f%93%8a-%e5%ae%9e%e9%aa%8c%e8%bf%bd%e8%b8%aa)
 * [3. 📍 结论](https://paooo.com/ai-study/8703/#3-%f0%9f%93%8d-%e7%bb%93%e8%ae%ba)

##  1. 🌟 什么是 DREAM?

###  a. 🤔 这究竟是什么？

在有那么多大语言模型（LLM）、嵌入模型、检索方法及重新排序方法可选时，要确定哪一种
组合最符合你的需求确实挑战重重。毕竟，谁会有时间挨个尝试每一种组合呢？

![DREAM 架构](https://paooo.com/wp-content/uploads/2025/04/1713146640225.avif)

DREAM 架构

于是，我们有了分布式 RAG 实验框架（DREAM）——这是一套包括 Kubernetes 原生架构和示例
代码的蓝图。它展示了如何在 Kubernetes 上利用 Ray, LlamaIndex, Ragas, MLFlow 和 MinIO
这些工具，以分布式的方式进行检索增强生成（RAG）的实验、评估和监控。

通过部署必要的 Kubernetes 工具并在分布式系统中进行实验和评估，我们的最终目标是比较
各种 RAG 参数组合，找出最适合我们需求的那一种。

![下面这张平行坐标图显示了通过分布式 RAG 实验得到的不同参数组合，以及它们在各种评价
指标上的表现](https://paooo.com/wp-content/uploads/2025/04/1713132721563.avif)

下面这张平行坐标图显示了通过分布式 RAG 实验得到的不同参数组合，以及它们在各种评价
指标上的表现

###  b. 🏛️ 架构

如图所示，DREAM 的技术栈包括：

 *  Ray (Kuberay)（由 Anyscale 开发）适用于在 Kubernetes 上进行分布式计算，可以用于
   通过 Ray Tune 进行各种实验和通过 Ray jobs 执行其它分布式任务
 *  LlamaIndex（由 Jerry Liu 和他的团队开发）是一个专门处理非结构化数据和采用先进
   的 RAG 技术的框架
 *  ragas（由 Shahul ES, Jithin James 及其团队开发）用于生成模拟数据和进行大语言
   模型（LLM）辅助评估
 *  MinIO 用作 S3 和 Kubernetes 原生的对象存储方案，主要存放非结构化数据、关键数据
   集以及 MLFlow 的数据记录
 *  MLflow 用作科研项目的追踪工具，辅助数据库采用 PostgreSQL，存储则使用 MinIO
 *  Project Jupyter 笔记本用于在 Ray 集群上开展互动式实验活动
 *  Kubernetes 作为主要的容器管理系统……自然不在话下！（在 DigitalOcean 的小型服务
   器上通过 kubeadm 部署，当然，您也可以选择 minikube 或其他的版本）
 * ArgoCD（由 Argo Project 开发）负责将各种工具部署到 Kubernetes 集群上，并利用 
   GitOps 技术维护集群的运行状态。

要安装这些组件，您可以遵循 安装指南 中的步骤。您会发现，DREAM 实际上是我即将推出
的一个宏大项目“GOKU（在 Kubernetes 上的生成式 AI 运营）”的一部分。

###  c. 💻 展示代码！

Here you go: DREAM Github 🙂

##  2. 🚶 代码导览

###  a. 📂 准备非结构化数据

这些步骤在 此 Jupyter 笔记本 中非常简单直接：

 * 从 github 下载 PDF 文件到本地机器
 * 利用 boto3 技术，把 PDF 文件上传到 S3 (MinIO) 存储服务

![DREAM: 分布式 RAG 实验框架 [译]](https://paooo.com/wp-content/uploads/2025/04/
1713137018486.avif)

 在 MinIO 中上传 PDF 后的界面截图

###  b. 🥇 分布式创建黄金数据集 这里开始变得有趣！

 * 利用我们的 Jupyter 笔记本 作为 Ray 驱动，通过 ray 客户端提交任务，分布式地创建
   黄金数据集。
 * 在每一个 Ray 任务中，最多从 S3 加载三个 PDF，并运用 ragas 框架的 TestsetGenerator
   生成仿真测试数据。每个任务会返回一个含有仿真数据的 Pandas 数据框。
 * 驱动器 (Jupyter 笔记本) 将这些数据框合并，并将合并后的数据框以 CSV 文件的形式
   存储到 S3。

![分布式黄金数据集生成的工作流程](https://paooo.com/wp-content/uploads/2025/04/1713139201042.
avif)

分布式黄金数据集生成的工作流程

###  c. 🔬 分布式实验与评价

接下来的部分可能会比较复杂，以下是整个工作流程的图示说明：

![分布式实验、评价及追踪工作流程](https://paooo.com/wp-content/uploads/2025/04/1713141266307.
avif)

分布式实验、评价及追踪工作流程

在详述核心内容前，先来看看我们的搜索空间及评估标准。我们的搜索空间涵盖三种 RAG 方法，
两种大语言模型 (LLMs) 和两种嵌入模型。我们利用 LlamaIndex 提供的三种 RAG 方法：块
重叠，句子窗口检索及层次化自动合并检索。使用的大语言模型包括 [OpenAI](https://paooo.com/tag/openai/)
的 gpt-3.5-turbo 和 gpt-4，以及两种嵌入模型：text-embedding-3-small 和 text-embedding-
3-large。评估使用 ragas 提供的六种标准：忠实度、答案相关性、上下文精确度、上下文
回忆度、答案正确性及答案相似度。深入了解这些 RAG 方法和评估标准，欢迎阅读我之前的
高级 RAG 文章。

 * 在 Jupyter 笔记本充当 Ray 驱动程序的情况下，我们使用 Ray 客户端提交 Ray Tune 
   作业

![查询引擎选择工具的代码示例](https://paooo.com/wp-content/uploads/2025/04/1713140293148.
avif)

查询引擎选择工具的代码示例

 * 在处理嵌入模型和大语言模型（LLM）时，我们通过特定的代码字符串来选择和启动这些
   模型，这一过程在实验的辅助功能中完成。

![模型启动的代码工具示例](https://paooo.com/wp-content/uploads/2025/04/1713140403846.
avif)

模型启动的代码工具示例

 * 完成模型选择后，实验中的下一步是使用评估工具，这个工具通过分析标准数据集来帮助
   我们获取问题的上下文和答案。通过一个特别的程序 ragas 对结果进行评价并计算不同
   的性能指标，然后通过一个记录功能将这些数据保存下来。

![评估器函数的代码 evaluator()](https://paooo.com/wp-content/uploads/2025/04/1713140729700.
avif)

评估器函数的代码 evaluator()

###  d. 📊 实验追踪

最后，我们通过使用 MLflow 的强大实验追踪功能，不仅记录了实验的成果，也建立了与核心
数据集的连接，并把实验结果可视化。以下是一些直观的截图，它们足以自述其效果。

![记录到 MLFlow 的实验结果代码](https://paooo.com/wp-content/uploads/2025/04/1713141593039.
avif)

记录到 MLFlow 的实验结果代码

![实验的表格视图](https://paooo.com/wp-content/uploads/2025/04/1713141455724.avif)

实验的表格视图

![平行坐标图，描绘了分布式 RAG 实验中不同组合的成果以及它们在多个评估指标上的性能。](
https://paooo.com/wp-content/uploads/2025/04/1713132721563.avif)

平行坐标图，描绘了分布式 RAG 实验中不同组合的成果以及它们在多个评估指标上的性能。

![表 1: 实验结果的表格展示。](https://paooo.com/wp-content/uploads/2025/04/1713141491153.
avif)

表 1: 实验结果的表格展示。

##  3. 📍 结论

在这篇文章里，我们详细介绍了 DREAM 项目。这个项目不仅是一系列工具和代码的设计方案，
还展示了如何利用 Ray, LlamaIndex, Ragas, MLFlow 和 MinIO 这些开源技术，在 Kubernetes
平台上进行分布式的 RAG (retrieval-augmented generation) 实验、评估和监控。

 * 由 Jithin James、Shahul ES 以及他们的团队和贡献者共同创建的优秀项目 ragas，你
   可以在这里找到详尽的 文档 和 源代码。
 * 探索如何通过 Ray 和 LlamaIndex 构建和扩展强大的查询引擎，不妨阅读 Jerry Liu 和
   Amog Kamsetty 的精彩 分析。
 * 欢迎阅读我关于高级 RAG 的 详细讨论 🙂

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**金数据 ↗**

金数据是一个人人可用的在线表单工具，帮你轻松完成日常数据的收集、整理和分析工作，
发现数据的价值。

❓ 常见问题解答（FAQ）

DREAM 分布式 RAG 框架适合什么场景？

适合需要在 Kubernetes 上批量比较不同 RAG 组合的场景，包括检索方法、LLM、嵌入模型
与重排序策略的实验、评估和追踪，尤其适合希望提升选型效率的团队。

DREAM 用到了哪些核心工具？

文章中的核心工具包括 Ray（Kuberay）、LlamaIndex、Ragas、MLflow、MinIO、Jupyter 和
ArgoCD，分别用于分布式计算、RAG 实验、评估、实验追踪、对象存储和 GitOps 部署。

DREAM 如何生成黄金数据集？

通过 Jupyter 作为 Ray 驱动，分布式提交任务；每个任务从 S3/MinIO 加载最多三个 PDF，
并用 ragas 的 TestsetGenerator 生成仿真测试数据，最后合并为 CSV 存回 S3。

🔬 语宙深潜追问 · 进阶实操拆解

做RAG选型时该怎么设计实验矩阵？

把变量拆成检索器、嵌入模型、切分策略、重排器和生成模型五层，逐层做组合实验。先固定
数据集和评估指标，再用统一追踪系统记录每次配置，才能快速定位到底是哪一层带来收益。

分布式RAG实验最容易踩哪些坑？

常见问题是数据版本不一致、评估口径漂移和缓存污染。建议用容器化环境、统一实验追踪
和对象存储管理数据集，确保每次跑出来的结果可复现、可比较、可回滚。

🗳️ 读者观点微投票 · 您的实战立场是？

RAG 实验框架，先追求分布式还是可复现？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🧬 所属权威专题：RAG 知识库与模型微调 →](https://paooo.com/topics/rag-fine-tuning/)

 * [RAG-FiT – 英特尔实验室推出用于开发、增强大模型的开源RAG框架](https://paooo.com/aigc-news/22343/)
 * [NodeRAG – 开源基于异构图的智能检索与生成系统](https://paooo.com/aigc-news/20100/)
 * [RAGFlow – 基于OCR和文档解析的下一代 RAG 引擎](https://paooo.com/aigc-news/27316/)
 * [Mooncake – 月之暗面Kimi联合清华等机构推出的大模型推理架构](https://paooo.com/aigc-news/25239/)

[🏛️ 宝玉的分享](https://paooo.com/author/baoyu/) · 前沿大模型翻译与提示词工程实战
分享专栏，聚焦海外一手 AI 技术动态与工程实践。

[📄 Markdown 纯净版](https://paooo.com/ai-study/8703/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
