# 构建更佳大语言模型（LLM）应用的四大要诀 [译]

- Link: https://paooo.com/ai-study/7064/
- Published: 2024-02-14T18:15:34+08:00
- Author: 宝玉的分享

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * [智能体](https://paooo.com/trends/)与编排框架可让 LLM 自我反思、纠错，并调用外部
   工具完成更复杂任务。
 * RAG 结合向量数据库能突破上下文限制，显著缓解幻觉并提升检索式回答准确度。
 * Streamlit 调研显示仅 20% 生成式 AI 应用使用向量技术，说明落地空间仍然很大。

这里为您提供了一些建议和技巧，旨在提高大语言模型应用的精准度，并介绍了选择合适大
语言模型的要点。

阅读目录

 * [用智能体和编排工具让应用更聪明](https://paooo.com/ai-study/7064/#%e7%94%a8%e6%99%ba%e8%83%bd%e4%bd%93%e5%92%8c%e7%bc%96%e6%8e%92%e5%b7%a5%e5%85%b7%e8%ae%a9%e5%ba%94%e7%94%a8%e6%9b%b4%e8%81%aa%e6%98%8e)
 * [利用 Vector Magic 和 RAG 抗击幻觉问题](https://paooo.com/ai-study/7064/#%e5%88%a9%e7%94%a8-vector-magic-%e5%92%8c-rag-%e6%8a%97%e5%87%bb%e5%b9%bb%e8%a7%89%e9%97%ae%e9%a2%98)
 * [聊天机器人：让用户更精准地调整查询](https://paooo.com/ai-study/7064/#%e8%81%8a%e5%a4%a9%e6%9c%ba%e5%99%a8%e4%ba%ba%e8%ae%a9%e7%94%a8%e6%88%b7%e6%9b%b4%e7%b2%be%e5%87%86%e5%9c%b0%e8%b0%83%e6%95%b4%e6%9f%a5%e8%af%a2)
 * [考虑除 GPT 外的其它选择，包括开源的大语言模型](https://paooo.com/ai-study/7064/#%e8%80%83%e8%99%91%e9%99%a4-gpt-%e5%a4%96%e7%9a%84%e5%85%b6%e5%ae%83%e9%80%89%e6%8b%a9%e5%8c%85%e6%8b%ac%e5%bc%80%e6%ba%90%e7%9a%84%e5%a4%a7%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b)
 * [立刻开始探索生成式 AI 的世界](https://paooo.com/ai-study/7064/#%e7%ab%8b%e5%88%bb%e5%bc%80%e5%a7%8b%e6%8e%a2%e7%b4%a2%e7%94%9f%e6%88%90%e5%bc%8f-ai-%e7%9a%84%e4%b8%96%e7%95%8c)

2023 年 12 月 5 日 上午 10:44，作者 Adrien Treuille

![为文章“构建更佳大语言模型应用的四大要诀”所选的特色图片](https://paooo.com/wp-content/
uploads/2024/02/d72180ea-winter-1024x683-1-jpg.webp)

为文章“构建更佳大语言模型应用的四大要诀”所选的特色图片

图片来自 Shutterstock 的 Rusha。

自从 OpenAI 发布首个 [ChatGPT](https://paooo.com/tag/chatgpt/) 模型以来，生成式 
AI 引起了广泛关注。如今，大语言模型驱动的应用已成为企业提高生产力和效率的新思路，
同时，用于开发生成式 AI 应用的工具和框架也在不断扩展。然而，人们仍对生成式 AI 输出
的准确性存疑，开发者必须迅速掌握应对这些问题的方法，以打造功能强大、值得信赖的应用。

下面是一些提升大语言模型应用精准度的建议和技巧，以及在选择合适的大语言模型时应考虑
的因素。虽然我们无法详尽地解决每一个问题，因为每个问题都有其复杂之处，但我们提供
了一些初步建议，供你进一步探索。

Streamlit，一款免费且开源的框架，专用于快速构建和分享机器学习与数据科学的 Web 应用，
近期发布了一份报告，分析了超过 21,000 个由 13,000 多名开发者在 Streamlit 社区云上
构建的大语言模型应用。该报告提供了一些迄今为止开发者在构建应用时所使用的工具和技术
的洞见，这些建议也基于此。

举个例子，向量检索工具在改进基于大语言模型 (LLM) 驱动应用的上下文推荐方面颇有成效。
然而，我们的调查发现，目前只有少数开发者在使用这种向量功能，这意味着未来这里有一个
巨大的发展空间。

随着越来越多的开发者开始运用生成式 AI (Generative AI) 开发应用，我们将看到越来越
多不同类别和行业领域的应用开始整合 AI 搜索功能，以及更多的对话式和辅助体验。接下来，
我会提供四条建议给开发者，帮助他们打造更出色的大语言模型驱动应用，为他们所在的组织
带来创新和改变。

##  **用智能体和编排工具让应用更聪明**

协调框架，例如 LangChain 和 LlamaIndex，能够通过额外的工具或智能体来增强基于大语言
模型（LLM）的应用。这些智能体就像应用程序的插件，你可以通过它们以自然语言的形式增加
应用的附加功能。

这些智能体能够协作，从而更好地管理和优化大语言模型的各种功能，比如提升 AI 的推理
能力、解决偏见问题和融合外部数据。它们还能帮助大语言模型自我反思，比如判断自己是否
犯错，以及为完成任务需要采取哪些步骤。

举个例子，就像开发者编写 API 和相关文档一样，API 用代码表达，文档则是自然语言。智能
体也是类似的，但它们的文档是为了帮助大语言模型，而不是其他开发者。大语言模型会分析
手头的任务和智能体的说明，判断这些智能体是否能帮助它完成任务。

这些智能体还能通过帮助应用自我检查和纠正错误，增强大语言模型应用的稳定性。例如，
如果大语言模型应用在编写执行某任务的 SQL 代码时出错，比如检查数据库库存，这些智能
体就可以介入，避免了在传统的“天真”大语言模型应用中，一旦出错就束手无策的情况。

然而，如果应用程序内置了一个能执行 SQL 的 AI 智能体，它可以通过分析错误信息，借助
这个智能体找出应该怎样做出不同的处理来纠正错误。这种调整可能只是简单的语法更改，
但如果没有这样的智能体，大语言模型（LLM）就无法理解自己的错误在哪里。

##  **利用 Vector Magic 和 RAG 抗击幻觉问题**

有时，你使用的大语言模型 (LLM) 可能没有足够的信息来完成预定的任务。虽然可以在输入
提示时加入额外信息，但大多数 LLM 对输入提示的长度有所限制。为了突破这些限制，LLM
可能需要通过向量技术查询外部数据库，这种方法被称为检索增强生成（RAG）。

要理解 RAG 对 LLM 应用的好处，我们可以从三个层次来看 LLM 应用：

 * 第一层次：应用可以仅用 LLM 已有的知识来生成结果。
 * 第二层次：应用需要额外信息，这些信息可以在输入提示时加入。只要不超过输入长度的
   限制，这个过程相对简单。
 * 第三层次：LLM 需要从外部信息源（如数据库）获取信息以完成任务。

在第三层次中，RAG 发挥了作用，而外部数据库通常是通过向量进行语义索引的。这就是为什么
你可能最近经常听到有关向量数据库和向量搜索工具的讨论。

拥有向量数据库和向量搜索功能的应用能够快速、准确地通过分类大型非结构化数据集（包括
文本、图像、视频或音频）来进行上下文搜索。这对于做出更快、更精准的上下文推荐非常
有帮助。但目前，向量工具的应用还不普遍。Streamlit 的一项调查显示，仅有 20% 的生成
式 AI 应用采用了某种形式的向量技术。

##  **聊天机器人：让用户更精准地调整查询**

聊天机器人把生成式 AI 带入大众视野，但它们是否能成为有效的交互界面，一直有争议。
一些人认为，聊天机器人给用户太多自由，却缺乏足够的信息来指导如何使用大语言模型（
LLM）应用。还有人因为以往的失败，如 Clippy 的不成功，而对今天的聊天机器人持怀疑态度。

显然，聊天机器人是否合适，部分取决于应用的预期用途。但聊天机器人有一个不容忽视的
优势：它们提供了一种简洁直观的方式，让用户通过与人类对话般的界面添加上下文和精细
调整答案。

想明白这为何强大，不妨想想搜索引擎。在普通搜索引擎中，用户很难对查询进行微调；如果
结果稍有偏差，他们无法告诉搜索引擎“再试一次，但排除与 X 相关的答案”，或“更重视 Y”。
这个能力非常方便和强大，而聊天机器人正是为大语言模型应用提供了这样的功能。

调查显示，28% 的生成式 AI 应用是基于 Streamlit 构建的聊天机器人，而与之相对的是，
72% 的应用通常不支持对话式的查询调整。同时，调查还表明，这些聊天机器人的每周使用
率接近 40%，而非聊天机器人应用的使用率则有所下降。因此，聊天机器人可能是终端用户
更喜爱的界面。报告中还包含了各种接受文本输入的应用示例，你可以了解更多可能的使用
方式。

##  **考虑除 GPT 外的其它选择，包括开源的大语言模型**

尽管基础的 GPT 模型是众所周知的大语言模型 (LLM)，且功能强大，但过去一年里出现了更多
选择。在选择适合您应用的 LLM 时，您需要考虑的因素包括：所需的知识范围、模型大小、
训练需求与预算，以及选择开源还是专有的 LLM。在科技领域，这通常意味着需要做出一些
权衡。

例如，如果您要为内部使用开发生成式 AI 应用，可能需要在公司内部数据上训练 LLM。大
多数企业由于安全考虑，不愿与公共 LLM 分享敏感数据，因此许多公司选择在他们现有的云
安全环境内运行 LLM，这通常会使他们选择像 AI21 和 Reka 这样的小型 LLM。

大型 LLM 通常响应时间更长，运行成本也更高，因为需要更多的计算资源。如果应用的任务
比较简单，比如文本翻译或文档总结，一个小型 LLM 可能更合适，且成本大幅降低。

您可能也倾向于使用像 Meta 的 LLaMA 这样的开源 LLM，而不是 [OpenAI](https://paooo.com/tag/openai/)、
Anthropic 或 Cohere 等公司的专有 LLM。后者通常不会公开其源代码、训练数据、权重或
其他模型细节。尽管开源 LLM 需要自行托管或通过托管服务提供商进行推理，但它们的源代码
和模型细节更容易获取。

##  **立刻开始探索生成式 AI 的世界**

生成式 AI 是一个迅速发展的领域，相关的工具和技术也在快速进步，现在就有很多方法可以
开始尝试。那些抓住这个机会的开发者能够为他们的组织带来巨大的价值，把 AI 应用融入
日常业务运作和任务中。随着生成式 AI 继续改变组织中的角色和职责，那些深入研究并成为
以 LLM 驱动的应用专家的开发者将会脱颖而出，以上建议可以帮助您走上正确的道路。

🧭 文中关联 AI 工具官网与参数卡（语宙 AI 导航）

**LangChain ↗**

开发由语言模型驱动的应用程序的框架。

**ChatGPT ↗**

OpenAI 研发的通用人工智能对话大模型，支持多模态交互与深度推理。

❓ 常见问题解答（FAQ）

LLM 应用为什么需要 RAG 检索增强？

当模型本身知识不足，或提示词长度受限时，RAG 可先从外部数据库检索相关信息，再交给
LLM 生成答案。这样能减少幻觉，提高回答的上下文相关性与准确度。

智能体和编排工具在 LLM 应用里有什么用？

智能体和编排框架可为 LLM 增加额外能力，例如调用工具、分析错误、执行自我检查与纠正。
它们能帮助应用处理更复杂任务，也能提升稳定性和推理表现。

为什么文章强调向量技术的应用空间很大？

因为 Streamlit 调研显示，仅有 20% 的生成式 AI 应用采用某种形式的向量技术。向量检索
能更快处理非结构化数据并做上下文搜索，因此在 LLM 应用中仍有明显增长空间。

🔬 语宙深潜追问 · 进阶实操拆解

RAG 什么时候比微调更划算？

当问题主要是知识更新快、需要引用外部资料或减少幻觉时，RAG 通常更划算。它能快速接
入新文档并保留可追溯来源；只有当任务风格稳定、格式强约束且高频重复时，微调才更值得
投入。

智能体编排最容易踩什么坑？

最常见的是把“会调用工具”误当成“会完成任务”。如果没有清晰的状态机、失败重试、权限
边界和结果校验，智能体很容易在多步任务中发散。实战上应先把关键路径固化，再逐步放开
自主性。

🗳️ 读者观点微投票 · 您的实战立场是？

做 LLM 应用，先上 RAG 还是先做智能体？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[⚡ 所属权威专题：OpenAI GPT 与 Sora 生态 →](https://paooo.com/topics/openai-gpt-sora/)

 * [现代大语言模型应用架构 [译]](https://paooo.com/ai-study/7022/)
 * [利用大语言模型开发先进的推理与规划算法 [译]](https://paooo.com/ai-study/7013/)
 * [激发创造力：将语言模型打造成层次化策略，提升解决复杂问题的探索效率 [译]](https://paooo.com/ai-study/7000/)
 * [使用大语言模型 (LLMs) 构建产品一年后的经验总结 (第二部分)[译]](https://paooo.com/ai-study/8728/)

[🏛️ 宝玉的分享](https://paooo.com/author/baoyu/) · 前沿大模型翻译与提示词工程实战
分享专栏，聚焦海外一手 AI 技术动态与工程实践。

[📄 Markdown 纯净版](https://paooo.com/ai-study/7064/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
