Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: DREAM: 分布式 RAG 实验框架 [译]
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
表 1: 实验结果的表格展示。
Prompt 语宙 > 强化 AI 学习 > DREAM: 分布式 RAG 实验框架 [译]
强化 AI 学习

DREAM: 分布式 RAG 实验框架 [译]

宝玉的分享
最近更新: 2026年5月23日 下午6:22
AI编程 RAG检索增强 大模型微调 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • DREAM 提供 Kubernetes 原生的分布式 RAG 实验蓝图,覆盖实验、评估与监控全流程。
  • 框架整合 Ray、LlamaIndex、Ragas、MLflow 和 MinIO,支持黄金数据集生成与批量评测。
  • 实测可对比多种 RAG 方法、LLM 与嵌入模型组合,借助指标筛选更适合的方案。

使用 Ray, LlamaIndex, Ragas, MLFlow 和 MinIO 在 Kubernetes 上的分布式 RAG 实验蓝图

阅读目录
  • 1. 🌟 什么是 DREAM?
    • a. 🤔 这究竟是什么?
    • b. 🏛️ 架构
    • c. 💻 展示代码!
  • 2. 🚶 代码导览
    • a. 📂 准备非结构化数据
    • b. 🥇 分布式创建黄金数据集 这里开始变得有趣!
    • c. 🔬 分布式实验与评价
    • d. 📊 实验追踪
  • 3. 📍 结论

1. 🌟 什么是 DREAM?

a. 🤔 这究竟是什么?

在有那么多大语言模型(LLM)、嵌入模型、检索方法及重新排序方法可选时,要确定哪一种组合最符合你的需求确实挑战重重。毕竟,谁会有时间挨个尝试每一种组合呢?

DREAM 架构
DREAM 架构

于是,我们有了分布式 RAG 实验框架(DREAM)——这是一套包括 Kubernetes 原生架构和示例代码的蓝图。它展示了如何在 Kubernetes 上利用 Ray, LlamaIndex, Ragas, MLFlow 和 MinIO 这些工具,以分布式的方式进行检索增强生成(RAG)的实验、评估和监控。

通过部署必要的 Kubernetes 工具并在分布式系统中进行实验和评估,我们的最终目标是比较各种 RAG 参数组合,找出最适合我们需求的那一种。

下面这张平行坐标图显示了通过分布式 RAG 实验得到的不同参数组合,以及它们在各种评价指标上的表现
下面这张平行坐标图显示了通过分布式 RAG 实验得到的不同参数组合,以及它们在各种评价指标上的表现

b. 🏛️ 架构

如图所示,DREAM 的技术栈包括:

  • Ray (Kuberay)(由 Anyscale 开发)适用于在 Kubernetes 上进行分布式计算,可以用于通过 Ray Tune 进行各种实验和通过 Ray jobs 执行其它分布式任务
  • LlamaIndex(由 Jerry Liu 和他的团队开发)是一个专门处理非结构化数据和采用先进的 RAG 技术的框架
  • ragas(由 Shahul ES, Jithin James 及其团队开发)用于生成模拟数据和进行大语言模型(LLM)辅助评估
  • MinIO 用作 S3 和 Kubernetes 原生的对象存储方案,主要存放非结构化数据、关键数据集以及 MLFlow 的数据记录
  • MLflow 用作科研项目的追踪工具,辅助数据库采用 PostgreSQL,存储则使用 MinIO
  • Project Jupyter 笔记本用于在 Ray 集群上开展互动式实验活动
  • Kubernetes 作为主要的容器管理系统……自然不在话下!(在 DigitalOcean 的小型服务器上通过 kubeadm 部署,当然,您也可以选择 minikube 或其他的版本)
  • ArgoCD(由 Argo Project 开发)负责将各种工具部署到 Kubernetes 集群上,并利用 GitOps 技术维护集群的运行状态。

要安装这些组件,您可以遵循 安装指南 中的步骤。您会发现,DREAM 实际上是我即将推出的一个宏大项目“GOKU(在 Kubernetes 上的生成式 AI 运营)”的一部分。

c. 💻 展示代码!

Here you go: DREAM Github 🙂

2. 🚶 代码导览

a. 📂 准备非结构化数据

这些步骤在 此 Jupyter 笔记本 中非常简单直接:

  • 从 github 下载 PDF 文件到本地机器
  • 利用 boto3 技术,把 PDF 文件上传到 S3 (MinIO) 存储服务

DREAM: 分布式 RAG 实验框架 [译]
在 MinIO 中上传 PDF 后的界面截图

b. 🥇 分布式创建黄金数据集 这里开始变得有趣!

  • 利用我们的 Jupyter 笔记本 作为 Ray 驱动,通过 ray 客户端提交任务,分布式地创建黄金数据集。
  • 在每一个 Ray 任务中,最多从 S3 加载三个 PDF,并运用 ragas 框架的 TestsetGenerator 生成仿真测试数据。每个任务会返回一个含有仿真数据的 Pandas 数据框。
  • 驱动器 (Jupyter 笔记本) 将这些数据框合并,并将合并后的数据框以 CSV 文件的形式存储到 S3。

分布式黄金数据集生成的工作流程
分布式黄金数据集生成的工作流程

c. 🔬 分布式实验与评价

接下来的部分可能会比较复杂,以下是整个工作流程的图示说明:

分布式实验、评价及追踪工作流程
分布式实验、评价及追踪工作流程

在详述核心内容前,先来看看我们的搜索空间及评估标准。我们的搜索空间涵盖三种 RAG 方法,两种大语言模型 (LLMs) 和两种嵌入模型。我们利用 LlamaIndex 提供的三种 RAG 方法:块重叠,句子窗口检索及层次化自动合并检索。使用的大语言模型包括 OpenAI 的 gpt-3.5-turbo 和 gpt-4,以及两种嵌入模型:text-embedding-3-small 和 text-embedding-3-large。评估使用 ragas 提供的六种标准:忠实度、答案相关性、上下文精确度、上下文回忆度、答案正确性及答案相似度。深入了解这些 RAG 方法和评估标准,欢迎阅读我之前的高级 RAG 文章。

  • 在 Jupyter 笔记本充当 Ray 驱动程序的情况下,我们使用 Ray 客户端提交 Ray Tune 作业

查询引擎选择工具的代码示例
查询引擎选择工具的代码示例

  • 在处理嵌入模型和大语言模型(LLM)时,我们通过特定的代码字符串来选择和启动这些模型,这一过程在实验的辅助功能中完成。

模型启动的代码工具示例
模型启动的代码工具示例

  • 完成模型选择后,实验中的下一步是使用评估工具,这个工具通过分析标准数据集来帮助我们获取问题的上下文和答案。通过一个特别的程序 ragas 对结果进行评价并计算不同的性能指标,然后通过一个记录功能将这些数据保存下来。

评估器函数的代码 evaluator()
评估器函数的代码 evaluator()

d. 📊 实验追踪

最后,我们通过使用 MLflow 的强大实验追踪功能,不仅记录了实验的成果,也建立了与核心数据集的连接,并把实验结果可视化。以下是一些直观的截图,它们足以自述其效果。

记录到 MLFlow 的实验结果代码
记录到 MLFlow 的实验结果代码

实验的表格视图
实验的表格视图

平行坐标图,描绘了分布式 RAG 实验中不同组合的成果以及它们在多个评估指标上的性能。
平行坐标图,描绘了分布式 RAG 实验中不同组合的成果以及它们在多个评估指标上的性能。

表 1: 实验结果的表格展示。
表 1: 实验结果的表格展示。

3. 📍 结论

在这篇文章里,我们详细介绍了 DREAM 项目。这个项目不仅是一系列工具和代码的设计方案,还展示了如何利用 Ray, LlamaIndex, Ragas, MLFlow 和 MinIO 这些开源技术,在 Kubernetes 平台上进行分布式的 RAG (retrieval-augmented generation) 实验、评估和监控。

  • 由 Jithin James、Shahul ES 以及他们的团队和贡献者共同创建的优秀项目 ragas,你可以在这里找到详尽的 文档 和 源代码。
  • 探索如何通过 Ray 和 LlamaIndex 构建和扩展强大的查询引擎,不妨阅读 Jerry Liu 和 Amog Kamsetty 的精彩 分析。
  • 欢迎阅读我关于高级 RAG 的 详细讨论 🙂
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
金数据 ↗
金数据是一个人人可用的在线表单工具,帮你轻松完成日常数据的收集、整理和分析工作,发现数据的价值。
❓ 常见问题解答(FAQ)
DREAM 分布式 RAG 框架适合什么场景?

适合需要在 Kubernetes 上批量比较不同 RAG 组合的场景,包括检索方法、LLM、嵌入模型与重排序策略的实验、评估和追踪,尤其适合希望提升选型效率的团队。

DREAM 用到了哪些核心工具?

文章中的核心工具包括 Ray(Kuberay)、LlamaIndex、Ragas、MLflow、MinIO、Jupyter 和 ArgoCD,分别用于分布式计算、RAG 实验、评估、实验追踪、对象存储和 GitOps 部署。

DREAM 如何生成黄金数据集?

通过 Jupyter 作为 Ray 驱动,分布式提交任务;每个任务从 S3/MinIO 加载最多三个 PDF,并用 ragas 的 TestsetGenerator 生成仿真测试数据,最后合并为 CSV 存回 S3。

🔬 语宙深潜追问 · 进阶实操拆解
做RAG选型时该怎么设计实验矩阵?

把变量拆成检索器、嵌入模型、切分策略、重排器和生成模型五层,逐层做组合实验。先固定数据集和评估指标,再用统一追踪系统记录每次配置,才能快速定位到底是哪一层带来收益。

分布式RAG实验最容易踩哪些坑?

常见问题是数据版本不一致、评估口径漂移和缓存污染。建议用容器化环境、统一实验追踪和对象存储管理数据集,确保每次跑出来的结果可复现、可比较、可回滚。

🗳️ 读者观点微投票 · 您的实战立场是?
RAG 实验框架,先追求分布式还是可复现?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🧬 所属权威专题:RAG 知识库与模型微调 →
  • RAG-FiT – 英特尔实验室推出用于开发、增强大模型的开源RAG框架
  • NodeRAG – 开源基于异构图的智能检索与生成系统
  • RAGFlow – 基于OCR和文档解析的下一代 RAG 引擎
  • Mooncake – 月之暗面Kimi联合清华等机构推出的大模型推理架构
🏛️ 宝玉的分享 · 前沿大模型翻译与提示词工程实战分享专栏,聚焦海外一手 AI 技术动态与工程实践。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
NVILA – 英伟达推出的视觉语言大模型
ResAdapter – 字节推出的扩散模型分辨率适配器
CapsWriter-Offline – AI语音转文字工具,PC端离线实时工作
Falcon Mamba 7B – 首个通用Mamba开源AI大模型
Half_illustration – 基于Flux.1 的LoRA模型,让照片秒变艺术大片
TAGGED:AI编程RAG检索增强大模型微调开源大模型
分享
Email 复制链接 打印
Share
宝玉的分享 头像
By宝玉的分享
Follow:
前沿大模型翻译与提示词工程实战分享专栏,聚焦海外一手 AI 技术动态与工程实践。
上一篇 RAG 在长上下文大语言模型 (LLM) 中的应用探讨 [译] RAG 在长上下文大语言模型 (LLM) 中的应用探讨 [译]
下一篇 奔腾 2 Windows 98 复古电脑 从一个卡车司机到 38 岁成为 Ruby on Rails 开发者 [译]
Ad image
Ad image

最近更新

亚马逊旗下 Audible 推出 AI 音频发现功能、无剧透剧情回顾与互动式提问工具界面示意
彻底告别“盲听选书”与断更忘剧情!亚马逊Audible重磅上线AI音频发现与无剧透Recaps:12月全面铺开、应用内Ask a Question实测逻辑全拆解
AI 工具
FBI 发布紧急安全预警指开源 AI 自主黑客工具 Artex 可在三小时内攻破企业网络
不到3小时攻破网络且波及ConnectWise 2250家客户!FBI紧急预警开源AI黑客工具Artex:Barracuda重置全量凭据与裸奔控台反被暴露深剖
最新趋势
微软 CEO Satya Nadella 接受 The Pragmatic Engineer 深度专访谈 AI 时代软件工程变革
GitHub Copilot为何6个月被命令行颠覆?微软CEO纳德拉深度访谈:代码廉价时代的验证困局、“混合智能”路由与把Agent当内部威胁治理全景拆解
最新趋势
AI开源项目周刊第3期封面:4K生图权重、594B编程MoE与MCP生态全景
594B编程MoE与4K生图开放权重!AI开源项目周刊第3期硬核深剖:MiniMax H3-Image、Inkling 2 Small、Pinky手机MCP与Jane Street刷题Skill全景
AI 工具

相关推荐

kimi-thinking-preview – 月之暗面推出的多模态思考模型
AIGC 资讯

kimi-thinking-preview – 月之暗面推出的多模态思考模型

Prompt 语宙研究院
AI办公效率 AI编程 Kimi OpenAI
AI代理惊险“越狱”!OpenAI与Hugging Face联手化解渗透危机
AIGC 资讯

AI代理惊险“越狱”!OpenAI与Hugging Face联手化解渗透危机

Prompt 语宙研究院
AI智能体 Hugging Face OpenAI 开源大模型
AI Health Query
AI 工具

AI Health Query

remaker
AI办公效率 AI智能体 RAG检索增强
LangGraph – 基于图结构构建与部署多代理动态工作流的开源框架
AIGC 资讯

LangGraph – 基于图结构构建与部署多代理动态工作流的开源框架

Prompt 语宙研究院
AI智能体 AI编程 LangChain 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.