Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: 用 RAGAs(检索增强生成评估)评估 RAG(检索增强型生成)应用 [译]
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
RAGAs 分数涵盖了上下文精确度、上下文回忆率、答案的忠实度和相关性。
Prompt 语宙 > 强化 AI 学习 > 用 RAGAs(检索增强生成评估)评估 RAG(检索增强型生成)应用 [译]
强化 AI 学习

用 RAGAs(检索增强生成评估)评估 RAG(检索增强型生成)应用 [译]

宝玉的分享
最近更新: 2026年7月22日 下午1:27
AI编程 LangChain OpenAI RAG检索增强
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 用 RAGAs 给 RAG 应用做量化评估,避免只看主观回答效果。
  • 示例串联 LangChain、OpenAI、Weaviate,完整演示从切分、检索到生成。
  • 通过实测问答样例验证 RAG 管线,适合做 RAG 方案调优与对比。
!pip install langchain openai weaviate-client ragas
OPENAI_API_KEY="<YOUR_OPENAI_API_KEY>"
import requests
from langchain.document_loaders import TextLoader
from langchain.text_splitter import CharacterTextSplitter
url ="https://raw.githubusercontent.com/langchain-ai/langchain/master/docs/docs/modules/state_of_the_union.txt"
res = requests.get(url)
withopen("state_of_the_union.txt","w")as f:
f.write(res.text)
# Load the data
loader = TextLoader('./state_of_the_union.txt')
documents = loader.load()
# Chunk the data
text_splitter = CharacterTextSplitter(chunk_size=500, chunk_overlap=50)
chunks = text_splitter.split_documents(documents)
from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import Weaviate
import weaviate
from weaviate.embedded import EmbeddedOptions
from dotenv import load_dotenv,find_dotenv
# Load OpenAI API key from .env file
load_dotenv(find_dotenv())
# Setup vector database
client = weaviate.Client(
embedded_options = EmbeddedOptions()
)
# Populate vector database
vectorstore = Weaviate.from_documents(
client = client,
documents = chunks,
embedding = OpenAIEmbeddings(),
by_text =False
)
# Define vectorstore as retriever to enable semantic search
retriever = vectorstore.as_retriever()
from langchain.chat_models import ChatOpenAI
from langchain.prompts import ChatPromptTemplate
from langchain.schema.runnable import RunnablePassthrough
from langchain.schema.output_parser import StrOutputParser
# Define LLM
llm = ChatOpenAI(model_name="gpt-3.5-turbo", temperature=0)
# Define prompt template
template ="""You are an assistant for question-answering tasks.
Use the following pieces of retrieved context to answer the question.
If you don't know the answer, just say that you don't know.
Use two sentences maximum and keep the answer concise.
Question: {question}
Context: {context}
Answer:
"""
prompt = ChatPromptTemplate.from_template(template)
# Setup RAG pipeline
rag_chain =(
{"context": retriever,"question": RunnablePassthrough()}
| prompt
| llm
| StrOutputParser()
)
from datasets import Dataset
questions =["What did the president say about Justice Breyer?",
"What did the president say about Intel's CEO?",
"What did the president say about gun violence?",
]
ground_truths =[["The president said that Justice Breyer has dedicated his life to serve the country and thanked him for his service."],
["The president said that Pat Gelsinger is ready to increase Intel's investment to $100 billion."],
["The president asked Congress to pass proven measures to reduce gun violence."]]
answers =[]
contexts =[]
# Inference
for query in questions:
answers.append(rag_chain.invoke(query))
contexts.append([docs.page_content for docs in retriever.get_relevant_documents(query)])
# To dict
data ={
"question": questions,
"answer": answers,
"contexts": contexts,
"ground_truths": ground_truths
}
# Convert dict to dataset
dataset = Dataset.from_dict(data)
from ragas import evaluate
from ragas.metrics import(
faithfulness,
answer_relevancy,
context_recall,
context_precision,
)
result = evaluate(
dataset = dataset,
metrics=[
context_precision,
context_recall,
faithfulness,
answer_relevancy,
],
)
df = result.to_pandas()

评估 RAG 应用和 RAGA 的方法

这是一个包含度量标准和大语言模型(LLM)生成的数据的框架,用于评估您的检索增强型生成流程的性能。

阅读目录
  • 评估 RAG 应用和 RAGA 的方法
  • RAGAs 是什么
    • 评估数据
    • 评价指标
  • 使用 RAGAs 评估 RAG 应用
    • 准备工作
    • 搭建 RAG 应用
    • 准备评估数据
  • 将字典转换为数据集
    • 评估 RAG 应用
  • 概述

检索增强生成的风格化性能仪表板
检索增强生成的风格化性能仪表板

我们已经知道,建立一个 检索增强生成 (Retrieval-Augmented Generation, RAG) 应用 的概念验证相对简单,但要将其实际应用到生产环境中则非常具有挑战性。特别是,由于 RAG 流程中涉及多个不同的组件,要使其性能达到满意的状态尤其困难:

  • 检索器组件: 为大语言模型从外部数据库中检索额外的上下文,以便回答查询。
  • 生成器组件: 基于结合了检索信息的提示来生成答案。

在评估 RAG 流程时,需要单独对这两个组件进行评估,然后再综合考虑,以判断 RAG 流程在哪些方面仍需改进。此外,要了解你的 RAG 应用性能是否有所提升,必须进行量化的评估。为此,你需要两个关键元素:一个评估指标 和 一个评估数据集。

目前,在确定合适的评估指标和收集高质量验证数据方面,科研界正忙于探索和研究。这是一个发展迅速的领域,我们可以看到各种各样的 RAG 评估框架方法逐渐出现,比如 RAG 三元组指标、ROUGE、ARES、BLEU 和 RAGAs [1]。这篇文章将主要介绍如何利用 RAGAs [1] 来评估 RAG 流程。

RAGAs 是什么

RAGAs(检索增强生成评估)是一个提供必要工具的框架(GitHub、文档),这些工具可以帮助你在组件层面上对你的 RAG 流程进行评估。

评估数据

RAGAs 最初是作为一种无需参照标准的评估框架而设计的,这一点颇具特色 [1]。这意味着,在评估数据集时,不必依赖人工标注的标准答案,而是通过底层的大语言模型 (LLM) 来进行评估。

为了对 RAG 流程进行评估,RAGAs 需要以下几种信息:

  • question:RAG 流程的输入,即用户的查询问题。
  • answer:由 RAG 流程生成的答案,也就是输出结果。
  • contexts:为解答 question 而从外部知识源检索到的相关上下文。
  • ground_truths:question 的标准答案,这是唯一需要人工标注的信息。这个信息仅在评估 context_recall 这一指标时才必须(详见 评估指标)。

利用大语言模型 (LLM) 进行无参考评估是当前研究的热点话题。这种依赖最少人工数据的评估方法虽然成本低、效率高,但其可能存在的偏差问题也引发了一些讨论 [3]。尽管如此,已有研究表明这种方法的结果是有前景的 [4]。更多相关信息,可以参考 RAGAs 论文中的“相关工作”部分 [1]。

值得注意的是,这一框架已经扩展,提供了一些需要依赖真实标签的评估指标和范式,比如 context_recall 和 answer_correctness(详见 评估指标)。

此外,该框架还提供了 自动测试数据生成的工具,方便用户使用。

评价指标

RAGAs 为您提供了一些 指标,可用于从组件层面和整体流程两个方面评估 RAG 流程的性能。

在 组件层次 上,RAGAs 提供了评价检索组件(包括 context_relevancy 和 context_recall)和生成组件(涉及 faithfulness 和 answer_relevancy)的专门指标 [2]:

  • 上下文精准度 衡量检索出的上下文中有用信息与无用信息的比率。该指标通过分析 question 和 contexts 来计算。
  • 上下文召回率 用来评估是否检索到了解答问题所需的全部相关信息。这一指标依据 ground_truth(此为框架中唯一基于人工标注的真实数据的指标)和 contexts 进行计算。
  • 真实性 用于衡量生成答案的事实准确度。它通过对比给定上下文中正确的陈述与生成答案中总陈述的数量来计算。这一指标结合了 question、contexts 和 answer。
  • 答案相关度 评估生成答案与问题的关联程度。例如,对于问题“法国在哪里及其首都是什么?”,答案“法国位于西欧。”的答案相关度较低,因为它只回答了问题的一部分。

所有指标的评分范围在 [0, 1] 之间,分数越高表示性能越出色。

RAGAs 同样为评估 RAG 流程的 整体流程 提供了指标,例如 答案的语义相似度 和 答案的正确性。本文主要讨论的是组件层面的评价指标。

使用 RAGAs 评估 RAG 应用

本节将通过 RAGAs 工具来评估一个基本的 RAG(检索增强生成)流程。目的是向你展示如何运用 RAGAs 工具,以及它的评估指标是如何提供直观理解的。

准备工作

请确保你已经安装了以下 Python 包:

  • langchain、openai 和 weaviate-client,用于搭建 RAG 流程
  • ragas,用于评估 RAG 流程

此外,你需要在根目录下的 .env 文件中设置相关环境变量。要获取 OpenAI 的 API 密钥,你需要注册 OpenAI 账号,并在 API keys 页面创建新的密钥。

搭建 RAG 应用

在评估 RAG 应用之前,首先需要进行设置。我们这里使用一个基础版的 RAG 流程。关于详细的设置过程,可以参考以下链接中的文章。

检索增强生成 (RAG): 从理论到 LangChain 实现

首先,准备数据,包括加载文档和进行数据分块。

然后,使用 OpenAI 的嵌入模型为每个数据块生成向量嵌入,并存储在向量数据库中。

最后,创建一个提示模板和 OpenAI 的大语言模型 (LLM),并将它们与检索组件整合成一个 RAG 流程。

准备评估数据

RAGAs 作为一个无需参照的评估框架,其评估数据集的准备相对简单。你需要准备一些 question 和 ground_truths 的配对,从中可以推导出其他所需信息,操作如下:

将字典转换为数据集

dataset = Dataset.from_dict(data)

如果你不关注 context_recall 指标,就不必提供 ground_truths 数据。在这种情况下,你只需准备 question 即可。

评估 RAG 应用

首先,从 ragas.metrics 导入你计划使用的所有度量标准。然后,使用 evaluate() 函数,简单地传入所需的度量标准和已准备好的数据集即可。

下方展示了示例中的 RAGAs 分数:

RAGAs 分数涵盖了上下文精确度、上下文回忆率、答案的忠实度和相关性。
RAGAs 分数涵盖了上下文精确度、上下文回忆率、答案的忠实度和相关性。

我们可以做出以下几点观察:

  • context_relevancy(检索上下文的相关性与噪声比):尽管大语言模型 (LLM) 认为最后一个问题的所有上下文都相关,但它也指出第二个问题检索到的大多数上下文是不相关的。基于这一指标,你可以尝试调整检索上下文的数量以降低噪声。
  • context_recall(是否检索到回答问题所需的所有相关信息):LLMs 认为检索到的上下文包含了正确回答问题所需的全部相关信息。
  • faithfulness(生成答案的事实准确性):虽然 LLM 认为第一个和最后一个问题的答案是正确的,但它对第二个问题的答案(错误地声称总统没有提到英特尔的 CEO)的准确性评分为 0.5。
  • answer_relevancy(生成答案与问题的相关性):所有生成的答案都被评估为与问题高度相关。

正如 评估数据 一文中所述,利用大语言模型 (LLM) 进行无参考评估是当前研究的热点。我对这个领域的未来发展充满期待。

概述

虽然快速搭建一个概念验证阶段的 RAG 应用相对简单,但要提升其到生产级别的性能却颇具挑战。这类似于在机器学习项目中,需要借助验证数据集和评估标准来全面审视 RAG 流程的效能。

但由于 RAG 流程涉及多个组件,这些组件不仅要单独评估,还需联合考量,因此需要多种评估标准。而且,依靠人工标注创建高品质的验证数据集既耗时又成本高昂。

本文向大家介绍了 RAGAs [1] 这一评估框架。该框架定义了四个核心评估指标——context_relevancy(上下文相关性)、context_recall(上下文回溯)、faithfulness(忠实度)和 answer_relevancy(答案相关性)——这四个指标共同构成了 RAGAs 评分体系。此外,RAGAs 还巧妙利用了大语言模型 (LLM) 进行无参考评估,以降低成本。

现在,你已经掌握了评估 RAG 应用性能的必要工具,我建议你构建一个实验流程,并根据以下调优策略来逐步提升应用的表现:

打造生产级 RAG 应用的 12 种调优策略指南

生成这些数据集的代码可以在这个 GitHub 仓库中找到。

🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
LangChain ↗
开发由语言模型驱动的应用程序的框架。
❓ 常见问题解答(FAQ)
RAGAs 主要评估 RAG 的什么能力?

RAGAs 用于评估检索增强生成系统的关键质量维度,重点关注检索到的上下文是否相关、答案是否忠实于上下文,以及生成结果是否覆盖问题需求,适合做 RAG 方案的客观对比与调优。

这篇文章用到了哪些 RAG 组件?

文中示例使用了 LangChain 负责数据加载、切分与链式编排,OpenAI 提供嵌入与聊天模型,Weaviate 作为向量数据库,ragas 用于对 RAG 流程进行评估。

为什么要给 RAG 应用做评估?

因为 RAG 的效果不只取决于模型本身,还取决于检索质量、上下文拼接和生成策略。通过评估可以发现检索偏差、答案幻觉或上下文不足等问题,从而提升整体可用性。

🔬 语宙深潜追问 · 进阶实操拆解
RAGAs 评估里最值得优先看的指标是什么?

优先看上下文命中率和答案相关性,因为检索错了,生成再强也会跑偏。随后再看忠实度与完整性,判断模型是否真正基于检索内容回答,而不是凭语言流畅度“编得像真的”。

如何把 RAG 评估接入日常迭代?

把高频问题做成固定测试集,每次改检索器、切分策略或提示词都跑一遍基准。再结合线上用户反馈和人工标注,形成“离线评测+在线监控”的闭环,才能持续优化而不是凭感觉调参。

🗳️ 读者观点微投票 · 您的实战立场是?
RAG 评估最该先盯检索还是生成质量?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🧬 所属权威专题:RAG 知识库与模型微调 →
  • 检索增强生成(RAG):从理论到 LangChain 实践 [译]
  • 提升 RAG 效能:如何挑选最佳的嵌入与重排模型 [译]
  • 高级 RAG 技术:图解概览 [译]
  • 构建高级 RAG 的指南和技巧 [译]
🏛️ 宝玉的分享 · 前沿大模型翻译与提示词工程实战分享专栏,聚焦海外一手 AI 技术动态与工程实践。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
OpenAI重磅出击:ChatGPT广告管理器全面开放,中小企业低门槛入场抢占AI广告新蓝海
EICopilot – 百度推出基于AI智能体的企业信息搜索与探索工具
SourceAI
ViDoRAG – 通义联合中科大、上交大推出的视觉文档检索增强生成框架
我试验了高级 AI 提示词的效果,结论:它们并不值得 [译]
TAGGED:AI编程LangChainOpenAIRAG检索增强
分享
Email 复制链接 打印
Share
宝玉的分享 头像
By宝玉的分享
Follow:
前沿大模型翻译与提示词工程实战分享专栏,聚焦海外一手 AI 技术动态与工程实践。
上一篇 (攻击者在其控制的网站上使用白色文字进行的隐蔽攻击) 利用间接提示注入技术从 Writer.com 窃取数据 [译]
下一篇 OpenAI 生产环境最佳实践官方指南 [译] OpenAI 生产环境最佳实践官方指南 [译]
Ad image
Ad image

最近更新

WordPress 7.2版本更新与默认随机重定向、Secrets API撤回及MCP核心能力拆解封面图
官方博客竟把关闭过滤器写错了!WordPress 7.2前瞻全拆解:默认/random/暗藏隐私与SEO风险、Secrets API紧急撤回与3项MCP只读能力落地
AI 工具
Anthropic上市募资与算力长约的隐喻:现金光环上升,数据中心暗链延伸,治理水晶承受张力与阻力冲击。
募资超1070亿美元却背负9000亿算力长约!Anthropic史上最大IPO背后的三大隐忧:1040亿年内亏损、地方抵制潮与PBC治理死结
AIGC 资讯
微软Copilot与Claude/ChatGPT价格战隐喻:发光玻璃表格堡垒守住Excel,数据流高效汇聚,企业AI竞争升级
3000万付费仅吃下4.5亿席位不到7%!微软Ignite正面叫板Claude与ChatGPT:月均30美元VS 205美元价格战与Excel保卫战全拆解
AIGC 资讯
联想AI推理时代的端边云全栈算力插画:玻璃拟态服务器核心发光,光流连接云端与边缘节点,呈现营收与订单增长动能。
AI营收暴涨80%且握5300亿服务器订单!联想Q2单季营收首破2000亿、净利狂飙166%:端边云全栈算力如何接住推理时代红利?
AIGC 资讯

相关推荐

被寄予厚望的AI浏览器夭折,OpenAI正式宣布关停Atlas
AIGC 资讯

被寄予厚望的AI浏览器夭折,OpenAI正式宣布关停Atlas

Prompt 语宙研究院
AI办公效率 AI智能体 AI绘画提示词 ChatGPT OpenAI
Circleback
AI 工具

Circleback

remaker
AI办公效率 AI音频与语音 ChatGPT OpenAI
SnackzAI
AI 工具

SnackzAI

remaker
AI办公效率 AI智能体 RAG检索增强
AI应用性别鸿沟扩大:研究称女性生成式AI使用率低22%
AIGC 资讯

AI应用性别鸿沟扩大:研究称女性生成式AI使用率低22%

Prompt 语宙研究院
AI办公效率 AI智能体 RAG检索增强
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.