Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: 在 RAG 流程中提高检索效果:融合传统关键词与现代向量搜索的混合式搜索技术 [译]
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
这是一个展示关键词搜索、向量搜索与混合搜索不同排名的简单示例。
Prompt 语宙 > 强化 AI 学习 > 在 RAG 流程中提高检索效果:融合传统关键词与现代向量搜索的混合式搜索技术 [译]
强化 AI 学习

在 RAG 流程中提高检索效果:融合传统关键词与现代向量搜索的混合式搜索技术 [译]

宝玉的分享
最近更新: 2026年7月22日 下午1:28
AI编程 LangChain RAG检索增强 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 混合搜索把关键词检索与向量语义检索融合,提升 RAG 召回与排序质量。
  • BM25 擅长精确术语匹配,向量搜索更强在语义理解与同义表达覆盖。
  • 文中给出 LangChain 与 Weaviate 的混合检索示例,适合生产级 RAG 优化。
[0, 0, 0, 0, 0, 1, 0, 0, 0, 24, 3, 0, 0, 0, 0, ...]
[0.634, 0.234, 0.867, 0.042, 0.249, 0.093, 0.029, 0.123, 0.234, ...]
hybrid_score = (1 - alpha) * sparse_score + alpha * dense_score
## 定义和填充向量存储
## 更多详情请参考 https://towardsdatascience.com/retrieval-augmented-generation-rag-from-theory-to-langchain-implementation-4e9bd5f6a4f2
vectorstore =...
## 将 vectorstore 设置为检索工具
retriever = vectorstore.as_retriever()
from langchain.retrievers.weaviate_hybrid_search import WeaviateHybridSearchRetriever
retriever = WeaviateHybridSearchRetriever(
alpha =0.5,# 默认值为 0.5,意味着关键词搜索和语义搜索具有相同的权重
client = client,# 传递给 Weaviate 客户端的参数
index_name ="LangChain",# 使用的索引名
text_key ="text",# 使用的文本键名
attributes =[],# 结果中返回的属性
)

探讨如何结合传统关键词搜索与现代向量搜索来获得更相关的搜索结果

阅读目录
  • 混合搜索是什么?
  • 混合搜索是如何工作的?
    • 基于关键词的搜索
    • 向量搜索
    • 融合关键词与向量搜索结果的新方法
  • 如何利用混合搜索提升您的 RAG 流程性能?
  • 何时使用混合搜索:混合搜索的实际应用场景
  • 概述
  • References
    • Literature

混合搜索栏
混合搜索栏

拥有混合搜索功能的搜索栏

最近,随着开发者们对检索增强生成(RAG)技术的兴趣激增,如何构建能达到生产级性能的 RAG 流程成了新的挑战。正如生活中的其他领域,帕累托原则(即 80/20 法则)在 RAG 流程中同样适用:初始的 80% 相对容易实现,而要让剩余的 20% 满足生产标准就比较困难了。

提升 RAG 流程检索部分性能的一个常见解决方案是采用混合搜索。

那些在构建 RAG 流程方面有经验的开发者们已经开始分享他们的心得。其中一个反复出现的主题就是通过混合搜索来增强 RAG 流程的检索部分。

本文将向您介绍混合搜索的概念,解释它如何通过提供更相关的搜索结果来增强您的 RAG 流程性能,以及在何种情况下适合使用它。

混合搜索是什么?

混合搜索是一种融合两种或更多搜索算法的先进技术,目的是提升搜索结果的相关性和准确性。通常情况下,混合搜索指的是将传统的基于关键词的搜索与现代的基于向量的搜索结合起来。

在过去,搜索引擎主要依赖于关键词搜索。但随着机器学习(ML)的发展,基于向量嵌入的新搜索技术——也就是向量或语义搜索——开始流行。这种技术让我们能够根据数据的语义意义进行跨语言和多模态的搜索。不过,这两种搜索方式都有自己的优缺点:

  • 关键词搜索: 它在匹配特定术语(如产品名或专业术语)方面表现出色,但对拼写错误和同义词较为敏感,可能会忽略一些重要的上下文信息。
  • 向量或语义搜索: 它能够基于数据的语义含义进行多语言和多模态搜索,对拼写错误具有较好的容错性,但可能会忽视关键词。此外,它的效果依赖于向量嵌入的质量,并对非专业领域的术语较为敏感。

混合搜索结合了这两种方法的优点,特别是在文本搜索方面,能够显著提高搜索结果的相关性和准确性。

比如,当搜索“如何使用 .concat() 合并两个 Pandas 数据框?”这个问题时,关键词搜索可以帮助找到涉及 .concat() 方法的相关信息。同时,由于“合并(concat)”一词有诸如“组合”、“连接”和“串联”等多种同义词,语义搜索的上下文识别功能在这里就显得非常有用(更多详情参见 何时使用混合搜索)。

此外,你还可以在这个实时 演示 中体验不同的关键词搜索、语义搜索和混合搜索查询,用来搜索电影(详细实现可参考 这篇文章)。

混合搜索是如何工作的?

混合搜索将关键词搜索和向量搜索的结果结合起来,通过重新排序这些结果来实现两种搜索技术的融合。

基于关键词的搜索

在混合搜索中,基于关键词的搜索经常利用一种称为“稀疏嵌入”的表示方式,因此也被称为稀疏向量搜索。稀疏嵌入是大部分值为零,仅少数值为非零的向量,如下所示:

生成稀疏嵌入可以采用多种算法。最常用的算法是 BM25(最佳匹配 25),这个算法是在传统的 TF-IDF(词频 – 逆文档频率)方法的基础上进行改进的。简而言之,BM25 通过比较一个词在特定文档中的出现频率与在所有文档中的普遍频率,来确定这个词的重要性。

向量搜索

向量搜索是随着机器学习技术的发展而兴起的一种现代搜索技术。如 Transformers 等现代机器学习算法能够为各种数据对象(比如文本、图像等)生成一种数值表示形式,即向量嵌入。

这些向量嵌入通常信息密集,大部分由非零值构成(密集向量),如下例所示。这也是向量搜索被称为密集向量搜索的原因。

在向量搜索中,搜索查询会被转化为与数据对象相同的向量空间中的一个向量。然后,系统会利用这个向量来计算哪些数据对象与其最接近,这一计算通常基于某种特定的相似度度量标准,例如余弦距离。搜索结果将按照与查询向量的相似度进行排序,展示最相似的数据对象。

融合关键词与向量搜索结果的新方法

当我们使用关键词搜索和向量搜索时,它们各自会带来一系列结果,这些结果按照它们被计算出来的相关性进行排序。这两套结果需要有效地结合起来。

根据 Benham 和 Culpepper 的研究 [1],合并这两种搜索结果的排名有很多不同的方法。

一般来讲,首先要对搜索结果进行评分。这些评分可以基于某些标准,例如余弦距离,或者仅仅是基于搜索结果的排名。

接着,我们会用一个名为 alpha 的参数来对这些分数进行加权,这个参数决定了每种搜索算法的重要性,并影响最终结果的排名。

通常情况下,alpha 的取值在 0 和 1 之间,具体来说:

  • alpha = 1:完全基于向量的搜索
  • alpha = 0:完全基于关键词的搜索

下图是一个简单的示例,显示了在 alpha = 0.5 时,基于排名的关键词搜索与向量搜索是如何融合的。

这是一个展示关键词搜索、向量搜索与混合搜索不同排名的简单示例。
这是一个展示关键词搜索、向量搜索与混合搜索不同排名的简单示例。

这个示例简单阐述了在排名基础上,以 alpha 值为 0.5 时,关键词和向量搜索结果是如何被融合的(图片来源:作者,灵感来自混合搜索解释)

如何利用混合搜索提升您的 RAG 流程性能?

RAG(检索增强生成)流程有很多调整点来提高性能。其中之一是提高检索内容的相关性,进而输入到大语言模型(LLM)中。因为如果检索内容对于回答特定问题不相关,LLM 同样难以生成相关答案。

你需要根据自己的上下文类型和查询需求,选择三种搜索技术中哪一种最适合你的 RAG 应用。因此,参数 **alpha**,用于控制基于关键词的搜索与语义搜索之间的权重,被视为一个需要调整的关键参数。

在一个典型的使用 LangChain 的 RAG 流程中,你会这样定义检索器组件:通过设置 vectorstore 组件作为检索器,并使用 .as_retriever() 方法。例如:

但是,这种方式只能开启语义搜索功能。如果您希望在 LangChain 中启用混合搜索功能,您需要定义一个具备混合搜索功能的特定 retriever 组件,比如 WeaviateHybridSearchRetriever:

普通的 RAG 管道 其余部分保持不变。

通过这一小改动,您可以试验关键词搜索与向量搜索之间不同的权重分配。请注意,将 alpha = 1 设置为完全的语义搜索,相当于直接使用 vectorstore 组件定义检索工具 (retriever = vectorstore.as_retriever())。

何时使用混合搜索:混合搜索的实际应用场景

混合搜索特别适用于那些既需要语义搜索功能以营造更接近人类的搜索体验,又需要对特定的词语,如产品名称或序列号,进行精准匹配的场合。

一个典型的应用实例是 Stack Overflow 平台。最近,该平台借助混合搜索技术,引入了语义搜索功能,从而升级了它的搜索能力。

像人类一样提问:Stack Overflow 实施语义搜索的经验

起初,Stack Overflow 使用 TF-IDF 方法将关键词与文档匹配 [2]。但描述编程问题有时并不简单,不同的描述词汇可能导致完全不同的搜索结果(比如,合并两个 Pandas DataFrame 可以通过多种方式,如合并、连接或串联)。在这种情况下,一种更加考虑上下文的搜索方法,例如语义搜索,将更加有效。

然而,Stack Overflow 的另一个常见用途是复制粘贴错误信息。对于这种情况,精确的关键词匹配则成为首选。此外,对于方法名和参数名(例如 Pandas 中的 .read_csv()),精确匹配同样重要。

可以想见,很多类似的现实场景既需要能够理解上下文的语义搜索,也依赖于精确的关键词匹配。这些应用场景从实施混合搜索中获益良多。

概述

本文介绍了混合搜索,这是一种结合了关键词和向量搜索的方法。混合搜索融合了不同搜索算法的结果,并对这些结果进行重新排序。

在混合搜索中,参数 alpha 用于控制关键词搜索和语义搜索之间的权重分配。这个 alpha 参数可以视为在 RAG 管道中调整以提升搜索结果精准度的一个超参数。

借助 Stack Overflow [2] 的案例分析,我们展示了在某些情况下,语义搜索能够提升搜索体验,但对于特定术语,精确的关键词匹配仍然非常关键。

References

Literature

[1] Benham, R., & Culpepper, J. S. (2017). Risk-reward trade-offs in rank fusion. In Proceedings of the 22nd Australasian Document Computing Symposium (pp. 1–8).

[2] Haney, D. & Gibson, D. in Stack Overflow Blog. Ask like a human: Implementing semantic search on Stack Overflow (accessed Nov 24, 2023).

🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
LangChain ↗
开发由语言模型驱动的应用程序的框架。
❓ 常见问题解答(FAQ)
RAG 为什么要用混合搜索?

因为单纯关键词检索容易漏掉同义词和语义相关内容,单纯向量检索又可能忽略精确术语。混合搜索把两者结合,能同时提升召回率、相关性和排序稳定性,更适合生产级 RAG。

BM25 和向量搜索分别适合什么场景?

BM25 更适合产品名、专业术语、代码符号等精确匹配场景;向量搜索更适合语义相近、表达多样、跨语言或多模态的检索场景。两者结合能互补短板。

LangChain 里怎么做混合检索?

文中示例提到可使用 WeaviateHybridSearchRetriever,并通过 alpha 参数控制关键词与语义搜索权重。通常 alpha=0.5 表示两者权重相同,适合先做平衡型混合检索。

🔬 语宙深潜追问 · 进阶实操拆解
BM25 和向量检索该怎么融合?

常见做法是先分别召回,再按归一化分数加权或重排融合。关键词检索补精确匹配,向量检索补语义召回,权重需要结合查询类型、领域术语密度和验证集调参。

混合搜索在哪些 RAG 场景最有用?

当问题包含专有名词、代码、产品型号或法规条款时最有价值,因为纯语义检索容易漏掉精确词。对开放问答、长文摘要和知识库检索,混合搜索通常能显著提升命中率。

🗳️ 读者观点微投票 · 您的实战立场是?
RAG 检索里,混合搜索真比纯向量强吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🧬 所属权威专题:RAG 知识库与模型微调 →
  • 12 种调整策略指南:为生产环境打造高效的 RAG 应用 [译]
  • 检索增强生成(RAG):从理论到 LangChain 实践 [译]
  • 高级 RAG 技术:图解概览 [译]
  • AutoRAG – Cloudflare 推出的全托管检索增强生成服务
🏛️ 宝玉的分享 · 前沿大模型翻译与提示词工程实战分享专栏,聚焦海外一手 AI 技术动态与工程实践。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
StockMixer – 上海交大推出的股票价格预测架构
[AI生图咒语] 清新可爱亚裔女性写实自拍人像
OmniSearch – 阿里通义推出的多模态检索增强生成框架
MedReason – 美国加州联合南洋理工等机构推出的医学推理框架
Emotion-LLaMA – 多模态情绪识别与推理模型,融合音频、视觉和文本输入
TAGGED:AI编程LangChainRAG检索增强开源大模型
分享
Email 复制链接 打印
Share
宝玉的分享 头像
By宝玉的分享
Follow:
前沿大模型翻译与提示词工程实战分享专栏,聚焦海外一手 AI 技术动态与工程实践。
上一篇 如何理解关于 OpenAI Q* 的流言 [译] 如何理解关于 OpenAI Q* 的流言 [译]
下一篇 12 种调整策略指南:为生产环境打造高效的 RAG 应用 [译] 12 种调整策略指南:为生产环境打造高效的 RAG 应用 [译]
Ad image
Ad image

最近更新

WordPress 7.2版本更新与默认随机重定向、Secrets API撤回及MCP核心能力拆解封面图
官方博客竟把关闭过滤器写错了!WordPress 7.2前瞻全拆解:默认/random/暗藏隐私与SEO风险、Secrets API紧急撤回与3项MCP只读能力落地
AI 工具
Anthropic上市募资与算力长约的隐喻:现金光环上升,数据中心暗链延伸,治理水晶承受张力与阻力冲击。
募资超1070亿美元却背负9000亿算力长约!Anthropic史上最大IPO背后的三大隐忧:1040亿年内亏损、地方抵制潮与PBC治理死结
AIGC 资讯
微软Copilot与Claude/ChatGPT价格战隐喻:发光玻璃表格堡垒守住Excel,数据流高效汇聚,企业AI竞争升级
3000万付费仅吃下4.5亿席位不到7%!微软Ignite正面叫板Claude与ChatGPT:月均30美元VS 205美元价格战与Excel保卫战全拆解
AIGC 资讯
联想AI推理时代的端边云全栈算力插画:玻璃拟态服务器核心发光,光流连接云端与边缘节点,呈现营收与订单增长动能。
AI营收暴涨80%且握5300亿服务器订单!联想Q2单季营收首破2000亿、净利狂飙166%:端边云全栈算力如何接住推理时代红利?
AIGC 资讯

相关推荐

交交 – 上海交大推出的口语对话情感大模型
AIGC 资讯

交交 – 上海交大推出的口语对话情感大模型

Prompt 语宙研究院
AI智能体 AI音频与语音 RAG检索增强 大模型微调
Reve Image – Reve 推出的全新 AI 图像生成模型
AIGC 资讯

Reve Image – Reve 推出的全新 AI 图像生成模型

Prompt 语宙研究院
AI绘画提示词 Midjourney stable diffusion 开源大模型
AIGC 行业现状
AIGC 资讯

AIGC 行业现状

OZ
AIGC AI产业 AI行业 开源大模型 行业
提示工程、RAGs 与微调的对比 [译]
强化 AI 学习

提示工程、RAGs 与微调的对比 [译]

宝玉的分享
AI编程 RAG检索增强 大模型微调
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.