# 构建搜索引擎，而非向量数据库（Vector DB） [译] - Link: https://paooo.com/ai-study/7128/ - Published: 2024-04-15T18:23:45+08:00 - Author: 宝玉的分享 ⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点 * 向量数据库本质是搜索能力，不是给 LLM 增加“存储空间”的记忆外挂。 * 最佳实践是先做强搜索引擎，再把嵌入检索、关键词检索和重排序结合起来。 * LLM 能快速提升搜索构建效率，但评估与监控仍需单独建立体系。 ![构建搜索引擎，而非向量数据库](https://paooo.com/wp-content/uploads/2024/04/Mosaic- Artwork-Embossed.webp) 构建搜索引擎，而非向量数据库 阅读目录 * [向量数据库不等于存储器](https://paooo.com/ai-study/7128/#%e5%90%91%e9%87%8f%e6%95%b0%e6%8d%ae%e5%ba%93%e4%b8%8d%e7%ad%89%e4%ba%8e%e5%ad%98%e5%82%a8%e5%99%a8) * [好消息](https://paooo.com/ai-study/7128/#%e5%a5%bd%e6%b6%88%e6%81%af) * [附言（不太好的消息）](https://paooo.com/ai-study/7128/#%e9%99%84%e8%a8%80%e4%b8%8d%e5%a4%aa%e5%a5%bd%e7%9a%84%e6%b6%88%e6%81%af) 在过去 12 个月中，我们见证了向量数据库（Vector DB）创业公司的迅猛增长。我此刻并不 打算深入探讨它们各自的设计取舍。相反，我更想探讨和解释一些关于向量数据库的常见理解—— 它是什么、它的功能用途，以及在解决问题时，我们应如何恰当地利用向量数据库。 ### 向量数据库不等于存储器 很多向量数据库的主要作用被描述为解决大语言模型 (LLM) 缺乏长期记忆的问题，或者无法 将一个问题的全部上下文放入提示语中。 ![构建搜索引擎，而非向量数据库（Vector DB） [译]](https://paooo.com/wp-content/uploads/ 2024/04/Search-Engine.webp) https://trychroma.com/blog/seed 然而，向量搜索实质上只是搜索的一种特殊形式。虽然让大语言模型 (LLM) 能够写入和检索 数据库非常有用，但最终这更像是提供给[智能体](https://paooo.com/trends/)一个搜索引擎 的权限，而非真正“增加了存储空间”。 假设你是一家企业，想要建立一个由 LLM 驱动的文档查询体验。如果你将向量数据库仅看作 是为语言模型提供更多存储空间，那么你可能会把公司的所有产品文档都嵌入其中，然后让 用户向你的机器人提问。用户按下回车键时，系统会对他们的查询进行向量搜索，找到相关 片段，加载到上下文中，然后让语言模型尝试回答问题。实际上，这正是我在 Stripe 工作 时，开发他们的 AI 文档产品 时最初尝试的方法。 但我最终发现，这种方法并不理想。关键在于，尽管向量搜索在某些方面优于传统搜索，但 它并非万能。就像常规搜索一样，你可能会在搜索结果中遇到不相关或遗漏的文档。语言模型， 就像人类一样，只能利用它们所拥有的信息，而这些不相关的文档很可能会导致误导。 如果你想打造一个优秀的基于文档的 RAG 工具，你首先应该构建一个足够优秀的搜索引擎， 让人类也能轻松使用。这可能是你们组织之前已经考虑过的，如果尚未实现，那是因为打造 一个高效的搜索引擎通常是一项颇具挑战的工作。 ### 好消息 当你坐下来打算构建一个高效的搜索系统时，你该如何下手呢？在这个问题上，大语言模型( LLM) 可以成为你的救星。 虽然嵌入技术 (Embeddings) 并非灵丹妙药，但它们的确令人惊叹。相比于关键词搜索，高 质量的嵌入式搜索能显著降低假阴性的比率。而将嵌入式搜索与关键词搜索结合使用，其性能 远胜于任何纯文本搜索。事实上，谷歌多年来一直在这方面利用 [BERT](https://blog.google/ products/search/search-language-understanding -bert/?ref=blog.elicit.com) 技术。此外，嵌入技术本身及其在大规模搜索中的应用工具 已经得到了巨大的改进。市面上有许多经过实战检验的数据库能够结合关键词和向量搜索， 我强烈建议使用这些数据库之一（例如在 Elicit 我们使用 Vespa，而像 Chroma 这样的向量 数据库现在通常也支持这一功能）。 在将嵌入技术与传统方法结合以改善整体搜索之后，你将迎来一些真正有趣的挑战。一个精 于搜索技巧的用户知道如何构造查询以确保找到相关信息（曾有一时期，Google-fu（高效使用 谷歌的技巧）被视为一种强大的技艺），语言模型也能做到这一点。例如，如果你的模型想 寻找“疟疾疫苗最新动态”，你可以让它构建一个包含日期过滤器的查询语句。这里充满了尚未 开发的潜力，而且在此基础上，通过无穷无尽的微调，可以实现令人惊叹的高质量搜索。就像 在其他许多情况下一样，虽然在大语言模型出现之前这些都是**可能**实现的，但它们需要 大量的专业技能和努力。现在，你只需几小时的时间和一些计算资源，就能实现有竞争力的 性能。 在传统搜索流程中，最后一个阶段通常是重新排序（re-ranking）。过去，要实现重新排序， 我们需要基于用户在特定搜索结果页面的点击行为等信号训练一个相关性模型，然后用这个 模型对首要结果进行排序。对于没有专门团队来构建搜索引擎的人来说，这是一个难以解决 的问题。但现在，借助于语言模型（language models），你可以向模型提供查询与结果之 间的细节信息，从而获得一个相关性评分，这种评分甚至能超越大多数专业定制的系统。 归根结底，AI 的最新进展极大地简化了构建先进搜索引擎的过程，比起以往，所需的努力大幅 减少。因此，投入时间和精力来认真打造高效的搜索引擎，所带来的回报是极其可观的。 如果你打算开发一个基于 RAG 的工具（RAG-based tool），那么首先需要着手构建搜索功能。 ### _附言（不太好的消息）_ 你已经利用上述技术成功构建了一个优秀的搜索引擎，接下来就是部署的时刻了。然而，遗憾 的是，语言模型并不能帮你解决搜索引擎建设的另一大挑战：评估问题。 具体来说，这包括能够解答以下问题： * “在何种情况下进行搜索是恰当的？” * “当你进行搜索时，你真正想找到的内容是什么？” * “这些内容在搜索结果中的排名有多高？” 要回答这些问题，你需要构建一套评估和监控系统，通过这套系统来对你的搜索流程进行迭代 优化，并判断所做的更改是否真正带来了提升。关于如何评估搜索引擎的更多内容，我推荐 阅读这一系列精彩的博文。 🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航） **Stripe ↗** Stripe：跨境一站式支付平台，面向AI 电商视觉场景提供便捷实用的在线功能支持，涵盖智能 工具等实用方向。 ❓ 常见问题解答（FAQ） 向量数据库能替代搜索引擎吗？ 不能。文中强调向量搜索只是搜索的一种特殊形式，适合增强检索，但不能替代完整搜索引擎。 要做文档问答或 RAG，先把搜索做准、做稳，再谈向量数据库的加持效果。 做 RAG 为什么要先做搜索引擎？ 因为 RAG 的质量高度依赖检索结果。若搜索不准，召回到的不相关或遗漏文档会直接误导模型。 作者建议先构建人类也能轻松使用的搜索系统，再让 LLM 基于检索结果生成答案。 LLM 在搜索系统里最适合做什么？ LLM 最适合帮助构建查询、加入过滤条件、以及做结果重排序。文中提到，LLM 还能通过查询 与结果细节生成相关性评分，帮助提升搜索质量，但它不能替代评估与监控。 🔬 语宙深潜追问 · 进阶实操拆解 RAG 系统为何不能把向量库当长期记忆？ 向量库只负责相似度召回，不理解业务状态、权限和时效性。真正可用的 RAG 需要关键词、 结构化过滤、重排序和上下文拼接共同工作，否则容易召回“像但不对”的内容。 如何给 RAG 做可落地的评估与监控？ 先定义命中率、答案正确率、引用覆盖率和延迟四个指标，再准备一组真实查询集做离线回 放。上线后持续监控召回漂移、空答率和错误引用，必要时按场景拆分索引与检索策略。 🗳️ 读者观点微投票 · 您的实战立场是？ 做 RAG 时该先建向量库还是先做搜索？ 🕸️ 语宙向量知识图谱 · 语义强关联深度内链 [🧬 所属权威专题：RAG 知识库与模型微调 →](https://paooo.com/topics/rag-fine-tuning/) * [每家大语言模型公司都在挑战搜索技术：未来的大语言模型检索系统展望 [译]](https://paooo.com/ai-study/8717/) * [构建更佳大语言模型（LLM）应用的四大要诀 [译]](https://paooo.com/ai-study/7064/) * [在 RAG 流程中提高检索效果：融合传统关键词与现代向量搜索的混合式搜索技术 [译]](https://paooo.com/ai-study/7079/) * [构建高级 RAG 的指南和技巧 [译]](https://paooo.com/ai-study/8520/) [🏛️ 宝玉的分享](https://paooo.com/author/baoyu/) · 前沿大模型翻译与提示词工程实战 分享专栏，聚焦海外一手 AI 技术动态与工程实践。 [📄 Markdown 纯净版](https://paooo.com/ai-study/7128/?format=md) 💡 这篇内容对您有启发吗？ [📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/) **🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词 咒语库 [🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/) [📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)