# 是时候开始讨论大语言模型中的提示架构了吗？[译] - Link: https://paooo.com/ai-study/7173/ - Published: 2024-03-07T12:17:41+08:00 - Author: 宝玉的分享 ⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点 * 提示工程正从单句指令升级为多组件“提示架构”，更适合复杂推理任务。 * 思维链、自我一致性、退后一步与验证链，分别强化推理、稳健性与事实校验。 * 文章核心结论：面对复杂任务，设计流程化提示比单次提问更有效。 > 概括。 一切都始于一个词。 对于结果不满意，我们再次尝试。 阅读目录 * [提示工程的发展历程](https://paooo.com/ai-study/7173/#%e6%8f%90%e7%a4%ba%e5%b7%a5%e7%a8%8b%e7%9a%84%e5%8f%91%e5%b1%95%e5%8e%86%e7%a8%8b) * [让大语言模型实现更复杂的推理](https://paooo.com/ai-study/7173/#%e8%ae%a9%e5%a4%a7%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b%e5%ae%9e%e7%8e%b0%e6%9b%b4%e5%a4%8d%e6%9d%82%e7%9a%84%e6%8e%a8%e7%90%86) * [自主智能体和高级应用的交互模型](https://paooo.com/ai-study/7173/#%e8%87%aa%e4%b8%bb%e6%99%ba%e8%83%bd%e4%bd%93%e5%92%8c%e9%ab%98%e7%ba%a7%e5%ba%94%e7%94%a8%e7%9a%84%e4%ba%a4%e4%ba%92%e6%a8%a1%e5%9e%8b) * [选择合适的提示架构](https://paooo.com/ai-study/7173/#%e9%80%89%e6%8b%a9%e5%90%88%e9%80%82%e7%9a%84%e6%8f%90%e7%a4%ba%e6%9e%b6%e6%9e%84) * [大语言模型互动的新未来](https://paooo.com/ai-study/7173/#%e5%a4%a7%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b%e4%ba%92%e5%8a%a8%e7%9a%84%e6%96%b0%e6%9c%aa%e6%9d%a5) * [References](https://paooo.com/ai-study/7173/#references) > 概述文章的核心要点。_ 提示工程教会我们，更具体的提示效果更好。 > 分析文章中的三个主要论点，并根据所提供的证据评价作者论点的力度。有没有什么地方 > 你觉得作者的论点可以更有说服力或更加充分？ 随着时间的推移，我们学习了如何添加更多细节，来引导我们最喜爱的大语言模型给出最佳 答案。 ![一种名为“从少到多提示”的最新提示架构。 [1]](https://paooo.com/wp-content/uploads/ 2024/03/1_PX-iHKWbG5v80QHM1eXo0A.webp) 一种名为“从少到多提示”的最新提示架构。 [1] 提示工程技术正变得越来越复杂，演变成一些由多个组件构成的复杂系统。对于这样的复杂 系统，“提示工程”的定义可能显得有些局限。 > 在这篇文章中，我想为与大语言模型交互的多组件系统提出一个更准确的称谓： > 提示架构。 ## 提示工程的发展历程 现代语言模型展现了令人称奇的能力：仅凭几个示例就能处理全新的任务。这种能力被称为** 上下文中学习（in-context learning）**，它是提示工程效果显著的关键所在。 研究人员认为，模型之所以能够在上下文中学习，是因为预训练（pretraining）使其掌握了 完成语言任务的基本技能。在测试阶段（test time），模型只需识别已有的模式并运用这些 技能。更大型的模型在这方面表现得更加出色，使它们能够灵活适应各种自然语言任务。 [ 2] 过去，为了让语言模型适应新任务，你可能需要数千个标记过的样本进行微调。但在上下文 中学习的帮助下，你只需在模型的上下文窗口中提供任务描述，模型便能掌握新任务。我们 称这为 **零样本学习（zero-shot learning）**。 ![一种名为“从少到多提示”的最新提示架构。 [1]](https://paooo.com/wp-content/uploads/ 2024/03/1_gRVOt7qNC5O40Vq0Dz4D3w.webp) 在少样本提示（few-shot prompting）中，我们会在提示语中加入一些期望输出的示例。作者 提供的图片。 **少样本学习（Few-shot learning）** 是通过在模型的上下文中提供少量示例来实现的。 模型在测试时会适应这些模式并据此作出响应，无需更新其算法权重。随着模型规模的增大， 这种快速适应的能力也在提升，使得像 GPT-3 这样的大型模型仅凭几个示例就能学习新任务。 模型在看到几个示例后，就能做到相当好的泛化。 这些技巧为我们与大语言模型（Large Language Model，LLM）的互动提供了一个通用框架。 **角色提示（Role prompting）** 是一种特定于提示工程的技术，我相信你在使用 [ChatGPT](https://paooo.com/tag/chatgpt/) 时至少尝试过一次，特别适用于更特定的任务。这种技术中，AI 系统在提示开始时就被赋予 了一个明确的角色。这种额外的信息为模型提供了上下文，有助于提高模型的理解能力，从而 产生更有效的回应。 [3] 角色提示是从给 AI 指定一个角色的指令开始，随后是一个问题或任务，AI 需要在所赋予的 角色框架内作出回应。 ![一种名为“从少到多提示”的最新提示架构。 [1]](https://paooo.com/wp-content/uploads/ 2024/03/1_lq_1X4HuHRjJzCYagEtLGg.webp) 角色提示示例。 图片由作者提供。提示来源。 通过设定特定角色来为 AI 提供背景信息，可以帮助它更好地理解问题并给出恰当的回答。 这种方法会引导 AI 模型像专家一样根据不同领域的专业知识进行回应。比如，你可以让模型 模拟一名医生的角色，以期得到更加专业的医学相关答案。 ![一种名为“从少到多提示”的最新提示架构。 [1]](https://paooo.com/wp-content/uploads/ 2024/03/1_jB2IaxlwEPsuo9DaUiXG0Q.webp) 这是我最喜欢的一个提示例子。 图像由作者提供。提示来源。 ## 让大语言模型实现更复杂的推理 目前，大语言模型在逻辑推理和多步骤问题解决上仍有难点。而**思维链 (Chain of Thought)** 提示技术能帮助这些模型展现它们的解题过程，并逐步理清问题。 通过展示理想的推理过程，可以引导模型在面对新问题时模仿这种逻辑思考方式。**思维链** 技术在像数学和逻辑谜题这样的多步推理任务上，有效提升了模型的表现，这些任务通常会 使模型感到困惑。 ![一种名为“从少到多提示”的最新提示架构。 [1]](https://paooo.com/wp-content/uploads/ 2024/03/1_Vd1_9zI2m18sCWfMnlojwQ.webp) 思维链提示示例。 [4] 最近的研究将提示技术发展到包含多个要素和推理阶段的系统。 > 这是提示工程向提示架构转变的分界线。 ![一种名为“从少到多提示”的最新提示架构。 [1]](https://paooo.com/wp-content/uploads/ 2024/03/1_nwQaaOPrIY8VKzZfCuQrEQ.webp) 自我一致性提示架构示例。 [5] 复杂推理任务通常有多种有效的解题路径，都能得出正确答案。 **自我一致性提示 (Self-consistency prompting)** 首先从模型中生成多种可能的推理路径， 即多个候选答案。接着，它会综合这些答案，选出出现频率最高的答案。如果不同的推理路径 都得出同一个确定答案，就更能确信这个答案是正确的。 [5] ![一种名为“从少到多提示”的最新提示架构。 [1]](https://paooo.com/wp-content/uploads/ 2024/03/1_x67TuBx_fz_vszP4GSYMgA.webp) 模型在回答物理问题前，会先探讨物理学的基本原理。[6] **退后一步提示 (Step-back prompting)** 进一步探索了通过分解问题为中间步骤来解决问题 的方法。这种提示架构通过让模型先“退后一步”，先构建问题的抽象概念，再尝试解答，从而 提升了推理能力。 退后一步提示首先让 LLM 回答与关键思想相关的更广泛问题，然后 LLM 用核心事实和概念 作答。借助这些广泛知识，LLM 再针对具体的原始问题给出最终答案。跨基准的测试表明， 这种“退后一步”的策略有助于大型模型更有效地推理，减少错误。 [6] ![一种名为“从少到多提示”的最新提示架构。 [1]](https://paooo.com/wp-content/uploads/ 2024/03/1_liSsH3LBNjznwGO86LDejA.webp) 验证链 (Chain of Verification, CoVe) 提示架构。[7] **验证链** (Chain of Verification, CoVe) 是一种旨在减少大语言模型 (LLM) 生成错误 信息的提示架构。CoVe 的首要步骤是让模型对一个问题生成初始回答，这个回答可能存在不 准确之处。随后，LLM 会根据提示生成一系列问题，用以核实初始回答中可能的错误。LLM 然后独立回答这些问题，不依赖于最初的回答，以防止错误信息的重复出现。这个过程的最终 目标是产生一个经过校验和修正的答案，通过加入问题和答案的对话来纠正初始回答中的不一致 之处。[7] ## 自主智能体和高级应用的交互模型 交互模型的设计不仅仅局限于单一的提示，它还能实现一些复杂应用，这在传统的单一提示 设计中是难以实现的。 ![一种名为“从少到多提示”的最新提示架构。 [1]](https://paooo.com/wp-content/uploads/ 2024/03/1_MUNKRNwcE7VNdKAHlTo86w.webp) ReAct 交互模型。[8] 在 **ReAct** 交互中，模型融合了“思考”和“行动”来解决复杂任务。“思考”指的是类似人类 的计划和推理步骤，“行动”则是通过 API 或环境来获取外部信息。观察则会反馈相关信息。 ReAct 模型通过展示其思考过程，增强了其可解释性，并能通过这种方式评估推理的正确性。 此外，人类可以通过编辑这些“思考”来指导模型的行为。[8] ## 选择合适的提示架构 在开发会话型聊天机器人时，一开始可以尝试使用更直接的提示工程技术（prompt engineering）。 如果这些方法不奏效，你可以尝试使用**Step Back**或**Self-Consistency**等方法来提升 推理能力，同时避免过度复杂化。 如果你在构建一个应用程序，且重点在于减少幻觉（hallucinations），那么可以考虑使用** CoVe**，或者更先进的方法，如**Zero Resource Hallucination Prevention**。[9] 但是，** CoVe**涉及多步骤的交互，可能对于聊天场景来说过于繁琐。在这种情况下，使用**检索增强 生成（Retrieval Augmented Generation, RAG）**可能是一个减少幻觉的更佳选择。[10] ![一种名为“从少到多提示”的最新提示架构。 [1]](https://paooo.com/wp-content/uploads/ 2024/03/1_jn8g9Oh86szzgJT5YL9V2A.webp) RAG 的高级概览。图片作者为原文作者。 这些方法为我们提供了有关大语言模型的令人兴奋的洞见，但 RAG 在真实应用中的适用性更 强。 > 需要记住的是，采用高级提示架构来构建应用程序会更加昂贵，因为每次查询会消耗更多 > 的 Token 来产生最终的响应。 如果你的目标是构建自主[智能体](https://paooo.com/trends/)——即智能且有明确目标的系统—— 不妨尝试 ReAct 提示方式。ReAct 允许大语言模型通过结合思考和行动来与世界互动。 随着模型越来越能够独立解决复杂任务，提示的复杂性也会随之增加，从而使大语言模型能够 应用于更高级的用例。 实践经验会帮助你直观地了解在不同场景下哪些技术更为有效。 ## 大语言模型互动的新未来 通过先进的提示架构，大语言模型能够完成以往单次推理所不能的任务。 **提示架构** 不仅仅提高了大语言模型的实用性，它还让我们能深入理解这些模型的内部机制。 尽管有些提示架构对于现实世界的应用来说过于复杂或成本过高。 > 利用提示架构，我们得以窥探大语言模型的神秘内核。 提示架构并非提示工程的升级版 — **它是一种全新的技术手段。** **提示工程** 依靠单一推理步骤，任何人都可以在聊天界面中轻松实现，而 **提示架构** 则需要多步骤的推理和逻辑处理，通常还需借助复杂的编程来实施。 深入探索这两种方法，可以发现大语言模型新的潜能。 我认为，明确这两者之间的区别是非常重要的。 **_喜欢这篇文章吗？欢迎在_** **_领英_** **_上关注我。_** ## References [1] [2205.10625v3] Least-to-Most Prompting Enables Complex Reasoning in Large Language Models (arxiv.org) [2] [2205.11916] Large Language Models are Zero-Shot Reasoners (arxiv.org) [3] [2308.07702] Better Zero-Shot Reasoning with Role-Play Prompting (arxiv.org) [4] [2201.11903] Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (arxiv.org) [5] [2203.11171] Self-Consistency Improves Chain of Thought Reasoning in Language Models (arxiv.org) [6] [2310.06117] Take a Step Back: Evoking Reasoning via Abstraction in Large Language Models (arxiv.org) [7] [2309.11495] Chain-of-Verification Reduces Hallucination in Large Language Models( arxiv.org) [8] [2210.03629] ReAct: Synergizing Reasoning and Acting in Language Models (arxiv. org) [9] [2309.02654] Zero-Resource Hallucination Prevention for Large Language Models( arxiv.org) [10] What is retrieval-augmented generation? | IBM Research Blog 🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航） **ChatGPT ↗** OpenAI 研发的通用人工智能对话大模型，支持多模态交互与深度推理。 ❓ 常见问题解答（FAQ） 提示架构和提示工程有什么区别？ 提示工程通常指优化单条提示语；提示架构则强调由多个提示步骤、推理阶段和校验环节组成 的系统，更适合处理复杂任务，如多步推理、事实核验和答案整合。 思维链提示为什么能提升推理能力？ 思维链会引导模型显式展示中间推理步骤，帮助它按顺序拆解问题、减少跳步错误，尤其适用 于数学、逻辑题和多步骤分析任务。 验证链提示适合解决什么问题？ 验证链主要用于减少大语言模型的错误信息。它先生成初始答案，再自动提出核查问题并独立 回答，最后据此修正结果，适合需要更高准确性的场景。 🔬 语宙深潜追问 · 进阶实操拆解 提示架构和普通提示词差在哪？ 提示架构强调多组件协作，而不是单段提示。它会把角色设定、分步推理、验证、回退和自 检拆成模块，像搭系统一样设计输入输出，提升稳定性与可复用性。 哪些提示组件最值得优先上？ 优先上少样本、角色提示和自我一致性，收益通常最直接。若任务容错低，再加入思维链、 验证链和退后一步机制，用于减少幻觉、提升推理一致性和错误纠正能力。 🗳️ 读者观点微投票 · 您的实战立场是？ 提示工程会进化成提示架构吗？ 🕸️ 语宙向量知识图谱 · 语义强关联深度内链 [⚡ 所属权威专题：OpenAI GPT 与 Sora 生态 →](https://paooo.com/topics/openai-gpt-sora/) * [提示工程的基本理念以及如何将这些理念应用于提升大语言模型的性能 [译]](https://paooo.com/ai-study/8715/) * [退一步，看得更远：通过抽象引发大语言模型中的推理 [译]](https://paooo.com/ai-study/6988/) * [大语言模型提示工程综述：技巧与应用领域 [译]](https://paooo.com/ai-study/8624/) * [探讨 LLaMA-1/2 与 GPT-3.5/4，你只需有原则的指令 [译]](https://paooo.com/ai-study/8448/) [🏛️ 宝玉的分享](https://paooo.com/author/baoyu/) · 前沿大模型翻译与提示词工程实战 分享专栏，聚焦海外一手 AI 技术动态与工程实践。 [📄 Markdown 纯净版](https://paooo.com/ai-study/7173/?format=md) 💡 这篇内容对您有启发吗？ [📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/) **🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词 咒语库 [🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/) [📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)