Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: DREAM: 分布式 RAG 实验框架 [译]
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
表 1: 实验结果的表格展示。
Prompt 语宙 > 强化 AI 学习 > DREAM: 分布式 RAG 实验框架 [译]
强化 AI 学习

DREAM: 分布式 RAG 实验框架 [译]

宝玉的分享
最近更新: 2026年5月23日 下午6:22
AI编程 RAG检索增强 大模型微调 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • DREAM 提供 Kubernetes 原生的分布式 RAG 实验蓝图,覆盖实验、评估与监控全流程。
  • 框架整合 Ray、LlamaIndex、Ragas、MLflow 和 MinIO,支持黄金数据集生成与批量评测。
  • 实测可对比多种 RAG 方法、LLM 与嵌入模型组合,借助指标筛选更适合的方案。

使用 Ray, LlamaIndex, Ragas, MLFlow 和 MinIO 在 Kubernetes 上的分布式 RAG 实验蓝图

阅读目录
  • 1. 🌟 什么是 DREAM?
    • a. 🤔 这究竟是什么?
    • b. 🏛️ 架构
    • c. 💻 展示代码!
  • 2. 🚶 代码导览
    • a. 📂 准备非结构化数据
    • b. 🥇 分布式创建黄金数据集 这里开始变得有趣!
    • c. 🔬 分布式实验与评价
    • d. 📊 实验追踪
  • 3. 📍 结论

1. 🌟 什么是 DREAM?

a. 🤔 这究竟是什么?

在有那么多大语言模型(LLM)、嵌入模型、检索方法及重新排序方法可选时,要确定哪一种组合最符合你的需求确实挑战重重。毕竟,谁会有时间挨个尝试每一种组合呢?

DREAM 架构
DREAM 架构

于是,我们有了分布式 RAG 实验框架(DREAM)——这是一套包括 Kubernetes 原生架构和示例代码的蓝图。它展示了如何在 Kubernetes 上利用 Ray, LlamaIndex, Ragas, MLFlow 和 MinIO 这些工具,以分布式的方式进行检索增强生成(RAG)的实验、评估和监控。

通过部署必要的 Kubernetes 工具并在分布式系统中进行实验和评估,我们的最终目标是比较各种 RAG 参数组合,找出最适合我们需求的那一种。

下面这张平行坐标图显示了通过分布式 RAG 实验得到的不同参数组合,以及它们在各种评价指标上的表现
下面这张平行坐标图显示了通过分布式 RAG 实验得到的不同参数组合,以及它们在各种评价指标上的表现

b. 🏛️ 架构

如图所示,DREAM 的技术栈包括:

  • Ray (Kuberay)(由 Anyscale 开发)适用于在 Kubernetes 上进行分布式计算,可以用于通过 Ray Tune 进行各种实验和通过 Ray jobs 执行其它分布式任务
  • LlamaIndex(由 Jerry Liu 和他的团队开发)是一个专门处理非结构化数据和采用先进的 RAG 技术的框架
  • ragas(由 Shahul ES, Jithin James 及其团队开发)用于生成模拟数据和进行大语言模型(LLM)辅助评估
  • MinIO 用作 S3 和 Kubernetes 原生的对象存储方案,主要存放非结构化数据、关键数据集以及 MLFlow 的数据记录
  • MLflow 用作科研项目的追踪工具,辅助数据库采用 PostgreSQL,存储则使用 MinIO
  • Project Jupyter 笔记本用于在 Ray 集群上开展互动式实验活动
  • Kubernetes 作为主要的容器管理系统……自然不在话下!(在 DigitalOcean 的小型服务器上通过 kubeadm 部署,当然,您也可以选择 minikube 或其他的版本)
  • ArgoCD(由 Argo Project 开发)负责将各种工具部署到 Kubernetes 集群上,并利用 GitOps 技术维护集群的运行状态。

要安装这些组件,您可以遵循 安装指南 中的步骤。您会发现,DREAM 实际上是我即将推出的一个宏大项目“GOKU(在 Kubernetes 上的生成式 AI 运营)”的一部分。

c. 💻 展示代码!

Here you go: DREAM Github 🙂

2. 🚶 代码导览

a. 📂 准备非结构化数据

这些步骤在 此 Jupyter 笔记本 中非常简单直接:

  • 从 github 下载 PDF 文件到本地机器
  • 利用 boto3 技术,把 PDF 文件上传到 S3 (MinIO) 存储服务

DREAM: 分布式 RAG 实验框架 [译]
在 MinIO 中上传 PDF 后的界面截图

b. 🥇 分布式创建黄金数据集 这里开始变得有趣!

  • 利用我们的 Jupyter 笔记本 作为 Ray 驱动,通过 ray 客户端提交任务,分布式地创建黄金数据集。
  • 在每一个 Ray 任务中,最多从 S3 加载三个 PDF,并运用 ragas 框架的 TestsetGenerator 生成仿真测试数据。每个任务会返回一个含有仿真数据的 Pandas 数据框。
  • 驱动器 (Jupyter 笔记本) 将这些数据框合并,并将合并后的数据框以 CSV 文件的形式存储到 S3。

分布式黄金数据集生成的工作流程
分布式黄金数据集生成的工作流程

c. 🔬 分布式实验与评价

接下来的部分可能会比较复杂,以下是整个工作流程的图示说明:

分布式实验、评价及追踪工作流程
分布式实验、评价及追踪工作流程

在详述核心内容前,先来看看我们的搜索空间及评估标准。我们的搜索空间涵盖三种 RAG 方法,两种大语言模型 (LLMs) 和两种嵌入模型。我们利用 LlamaIndex 提供的三种 RAG 方法:块重叠,句子窗口检索及层次化自动合并检索。使用的大语言模型包括 OpenAI 的 gpt-3.5-turbo 和 gpt-4,以及两种嵌入模型:text-embedding-3-small 和 text-embedding-3-large。评估使用 ragas 提供的六种标准:忠实度、答案相关性、上下文精确度、上下文回忆度、答案正确性及答案相似度。深入了解这些 RAG 方法和评估标准,欢迎阅读我之前的高级 RAG 文章。

  • 在 Jupyter 笔记本充当 Ray 驱动程序的情况下,我们使用 Ray 客户端提交 Ray Tune 作业

查询引擎选择工具的代码示例
查询引擎选择工具的代码示例

  • 在处理嵌入模型和大语言模型(LLM)时,我们通过特定的代码字符串来选择和启动这些模型,这一过程在实验的辅助功能中完成。

模型启动的代码工具示例
模型启动的代码工具示例

  • 完成模型选择后,实验中的下一步是使用评估工具,这个工具通过分析标准数据集来帮助我们获取问题的上下文和答案。通过一个特别的程序 ragas 对结果进行评价并计算不同的性能指标,然后通过一个记录功能将这些数据保存下来。

评估器函数的代码 evaluator()
评估器函数的代码 evaluator()

d. 📊 实验追踪

最后,我们通过使用 MLflow 的强大实验追踪功能,不仅记录了实验的成果,也建立了与核心数据集的连接,并把实验结果可视化。以下是一些直观的截图,它们足以自述其效果。

记录到 MLFlow 的实验结果代码
记录到 MLFlow 的实验结果代码

实验的表格视图
实验的表格视图

平行坐标图,描绘了分布式 RAG 实验中不同组合的成果以及它们在多个评估指标上的性能。
平行坐标图,描绘了分布式 RAG 实验中不同组合的成果以及它们在多个评估指标上的性能。

表 1: 实验结果的表格展示。
表 1: 实验结果的表格展示。

3. 📍 结论

在这篇文章里,我们详细介绍了 DREAM 项目。这个项目不仅是一系列工具和代码的设计方案,还展示了如何利用 Ray, LlamaIndex, Ragas, MLFlow 和 MinIO 这些开源技术,在 Kubernetes 平台上进行分布式的 RAG (retrieval-augmented generation) 实验、评估和监控。

  • 由 Jithin James、Shahul ES 以及他们的团队和贡献者共同创建的优秀项目 ragas,你可以在这里找到详尽的 文档 和 源代码。
  • 探索如何通过 Ray 和 LlamaIndex 构建和扩展强大的查询引擎,不妨阅读 Jerry Liu 和 Amog Kamsetty 的精彩 分析。
  • 欢迎阅读我关于高级 RAG 的 详细讨论 🙂
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
金数据 ↗
金数据是一个人人可用的在线表单工具,帮你轻松完成日常数据的收集、整理和分析工作,发现数据的价值。
❓ 常见问题解答(FAQ)
DREAM 分布式 RAG 框架适合什么场景?

适合需要在 Kubernetes 上批量比较不同 RAG 组合的场景,包括检索方法、LLM、嵌入模型与重排序策略的实验、评估和追踪,尤其适合希望提升选型效率的团队。

DREAM 用到了哪些核心工具?

文章中的核心工具包括 Ray(Kuberay)、LlamaIndex、Ragas、MLflow、MinIO、Jupyter 和 ArgoCD,分别用于分布式计算、RAG 实验、评估、实验追踪、对象存储和 GitOps 部署。

DREAM 如何生成黄金数据集?

通过 Jupyter 作为 Ray 驱动,分布式提交任务;每个任务从 S3/MinIO 加载最多三个 PDF,并用 ragas 的 TestsetGenerator 生成仿真测试数据,最后合并为 CSV 存回 S3。

🔬 语宙深潜追问 · 进阶实操拆解
做RAG选型时该怎么设计实验矩阵?

把变量拆成检索器、嵌入模型、切分策略、重排器和生成模型五层,逐层做组合实验。先固定数据集和评估指标,再用统一追踪系统记录每次配置,才能快速定位到底是哪一层带来收益。

分布式RAG实验最容易踩哪些坑?

常见问题是数据版本不一致、评估口径漂移和缓存污染。建议用容器化环境、统一实验追踪和对象存储管理数据集,确保每次跑出来的结果可复现、可比较、可回滚。

🗳️ 读者观点微投票 · 您的实战立场是?
RAG 实验框架,先追求分布式还是可复现?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🧬 所属权威专题:RAG 知识库与模型微调 →
  • RAG-FiT – 英特尔实验室推出用于开发、增强大模型的开源RAG框架
  • NodeRAG – 开源基于异构图的智能检索与生成系统
  • RAGFlow – 基于OCR和文档解析的下一代 RAG 引擎
  • Mooncake – 月之暗面Kimi联合清华等机构推出的大模型推理架构
🏛️ 宝玉的分享 · 前沿大模型翻译与提示词工程实战分享专栏,聚焦海外一手 AI 技术动态与工程实践。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
Ditto – AI应用程序生成器,零编码自动规划和构建应用
IntentSeek
AutoAgents – AI Agent 生成框架,自然语言创建和部署LLM智能体
AutoMouser – AI Chrome扩展程序,实时交互跟踪自动生成测试代码
Moonlight-16B-A3B – 月之暗面开源的 MoE 模型
TAGGED:AI编程RAG检索增强大模型微调开源大模型
分享
Email 复制链接 打印
Share
宝玉的分享 头像
By宝玉的分享
Follow:
前沿大模型翻译与提示词工程实战分享专栏,聚焦海外一手 AI 技术动态与工程实践。
上一篇 RAG 在长上下文大语言模型 (LLM) 中的应用探讨 [译] RAG 在长上下文大语言模型 (LLM) 中的应用探讨 [译]
下一篇 奔腾 2 Windows 98 复古电脑 从一个卡车司机到 38 岁成为 Ruby on Rails 开发者 [译]
Ad image
Ad image

最近更新

WordPress 7.2版本更新与默认随机重定向、Secrets API撤回及MCP核心能力拆解封面图
官方博客竟把关闭过滤器写错了!WordPress 7.2前瞻全拆解:默认/random/暗藏隐私与SEO风险、Secrets API紧急撤回与3项MCP只读能力落地
AI 工具
Anthropic上市募资与算力长约的隐喻:现金光环上升,数据中心暗链延伸,治理水晶承受张力与阻力冲击。
募资超1070亿美元却背负9000亿算力长约!Anthropic史上最大IPO背后的三大隐忧:1040亿年内亏损、地方抵制潮与PBC治理死结
AIGC 资讯
微软Copilot与Claude/ChatGPT价格战隐喻:发光玻璃表格堡垒守住Excel,数据流高效汇聚,企业AI竞争升级
3000万付费仅吃下4.5亿席位不到7%!微软Ignite正面叫板Claude与ChatGPT:月均30美元VS 205美元价格战与Excel保卫战全拆解
AIGC 资讯
联想AI推理时代的端边云全栈算力插画:玻璃拟态服务器核心发光,光流连接云端与边缘节点,呈现营收与订单增长动能。
AI营收暴涨80%且握5300亿服务器订单!联想Q2单季营收首破2000亿、净利狂飙166%:端边云全栈算力如何接住推理时代红利?
AIGC 资讯

相关推荐

PowerPM.ai
AI 工具

PowerPM.ai

remaker
AI办公效率 AI智能体 AI编程
GRUtopia 2.0 – 上海 AI Lab 推出的通用具身智能仿真平台
AIGC 资讯

GRUtopia 2.0 – 上海 AI Lab 推出的通用具身智能仿真平台

Prompt 语宙研究院
3D与空间智能 AI智能体 开源大模型
TextHarmony – 字节联合华东师范推出的多模态生成模型
AIGC 资讯

TextHarmony – 字节联合华东师范推出的多模态生成模型

Prompt 语宙研究院
AI办公效率 AI绘画提示词 大模型微调 开源大模型
LightRAG – 香港大学推出的开源检索增强生成系统
AIGC 资讯

LightRAG – 香港大学推出的开源检索增强生成系统

Prompt 语宙研究院
RAG检索增强 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.