# Q* 假设：思维树推理、过程奖励模型，以及如何大幅提升合成数据的能力 [译] - Link: https://paooo.com/ai-study/7029/ - Published: 2024-01-01T18:17:03+08:00 - Author: 宝玉的分享 ⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点 * Q* 更可能关联思维树式推理与搜索，而非外界想象的“神秘 AGI 突破”。 * 过程奖励模型把奖励细化到推理步骤，能更有效训练复杂数学与分步任务。 * 文章核心结论：提升合成数据质量的关键，是让模型在语言的局部步骤上可搜索、可评估。 ### 紧急专题：要弄懂 Q*，我们需要的信息其实就在我们身边，只是网络流行语更比现实生活有趣。 NATHAN LAMBERT 阅读目录 * [紧急专题：要弄懂 Q*，我们需要的信息其实就在我们身边，只是网络流行语更比现实生活有趣。](https://paooo.com/ai-study/7029/#%e7%b4%a7%e6%80%a5%e4%b8%93%e9%a2%98%e8%a6%81%e5%bc%84%e6%87%82-q%e6%88%91%e4%bb%ac%e9%9c%80%e8%a6%81%e7%9a%84%e4%bf%a1%e6%81%af%e5%85%b6%e5%ae%9e%e5%b0%b1%e5%9c%a8%e6%88%91%e4%bb%ac%e8%ba%ab%e8%be%b9) * [用大语言模型打造思维树：一种新型的模块化推理方法](https://paooo.com/ai-study/7029/#%e7%94%a8%e5%a4%a7%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b%e6%89%93%e9%80%a0%e6%80%9d%e7%bb%b4%e6%a0%91%e4%b8%80%e7%a7%8d%e6%96%b0%e5%9e%8b%e7%9a%84%e6%a8%a1%e5%9d%97%e5%8c%96%e6%8e%a8%e7%90%86%e6%96%b9) * [在生成过程中使用细粒度奖励标签：过程奖励模型 (Process Reward Models, PRM)](https://paooo.com/ai-study/7029/#%e5%9c%a8%e7%94%9f%e6%88%90%e8%bf%87%e7%a8%8b%e4%b8%ad%e4%bd%bf%e7%94%a8%e7%bb%86%e7%b2%92%e5%ba%a6%e5%a5%96%e5%8a%b1%e6%a0%87%e7%ad%be%e8%bf%87%e7%a8%8b%e5%a5%96%e5%8a%b1%e6%a8%a1%e5%9e%8b-process-re) * [整合理解：Q* 可能指的是什么](https://paooo.com/ai-study/7029/#%e6%95%b4%e5%90%88%e7%90%86%e8%a7%a3q-%e5%8f%af%e8%83%bd%e6%8c%87%e7%9a%84%e6%98%af%e4%bb%80%e4%b9%88) * [超级规模的 AI 反馈数据及未来展望](https://paooo.com/ai-study/7029/#%e8%b6%85%e7%ba%a7%e8%a7%84%e6%a8%a1%e7%9a%84-ai-%e5%8f%8d%e9%a6%88%e6%95%b0%e6%8d%ae%e5%8f%8a%e6%9c%aa%e6%9d%a5%e5%b1%95%e6%9c%9b) _编者按：这篇文章相当于下周的内容。由于时效性，我提前发布了，毕竟 RLAIF 和过程奖励 模型本来就在我的计划列表里。我们拭目以待是否会有更多_ _紧急发布。_ --- 在我们都准备放假庆祝感恩节的星期三，路透社最后一次报道了 [OpenAI](https://paooo.com/tag/openai/) 的动态，揭晓了 OpenAI 的一种新方法 Q* 的名字和高层评价，这种方法被含糊地描述为具有 强大的能力： > 路透社联系 OpenAI 后，该公司虽未公开评论，但在内部消息中向员工承认了一个名为 Q* > 的项目… > OpenAI 的一些人士认为 Q*（读作 Q-Star）可能是这家初创公司在追求所谓的人工通用智能（ > AGI）方向上的一大突破。一位消息人士向路透社透露，OpenAI 将 AGI 定义为在大多数具有 > 经济价值的任务中超越人类能力的自主系统。 > 据一位不愿透露姓名的人士透露，这个新模型在获得庞大计算资源的支持下，能够解决一些 > 数学问题。尽管其数学解题能力仅限于小学生水平，但这样的成绩让研究人员对 Q* 的未来 > 发展充满期待。 仅仅一个方法的名称就引起了广泛的猜测。虽然这次的名字相当简单，它并不只是《沙丘》 系列中的又一个代号。如果 Q*（Q-Star）是真实存在的，它显然将强化学习文献中的两大核心 主题——Q-值和A*（一种经典的图搜索算法）联系在了一起。当然，也有人认为 Q* 可能仅仅 指代最优策略的价值函数，但这需要是一个捏造的泄露，这种情况似乎不太可能，毕竟 OpenAI 几乎把所有东西都泄露出去了，所以捏造这样的信息似乎并不合理。1 我的最初假设，我将其定义为一种“锡帽子”理论，是 Q-学习和 A* 搜索的混合。我没能回答 的是，到底在搜索什么？我最初猜测的对话轮次搜索几乎可以肯定是错误的，原因在于我稍 后会提到的基础设施方面的考虑。 通过深入研究，我越来越确信他们正通过**思维树的语言搜索/推理步骤**做着有影响力的工作， 但其实这比大众所想象的要小一个层次。人们之所以夸大其词，是因为想把大语言模型的训练 和应用与深度强化学习 (Deep RL) 的核心部分联系起来，后者是 AlphaGo 等成功案例的关键， 比如自我对弈和前瞻性规划。 * **自我对弈** 指的是通过与自己的不同版本对弈，[智能体](https://paooo.com/trends/) 能提高其游戏技能，因为它会逐渐遇到更多挑战性场景。在大语言模型 (LLM) 领域，自我 对弈很可能主要表现为 AI 反馈，而非竞争过程。 * **前瞻性规划** 意味着利用世界模型来预测未来，从而做出更好的行动或产出。其中的 两种方法分别是基于模型预测控制 (MPC) —— 通常应用于连续状态，以及蒙特卡罗树搜索( MCTS) —— 适用于离散动作和状态。 为了理解这些元素如何相互结合，我们需要回顾 OpenAI 及其他机构最近发布的研究成果， 这些研究将解答两个问题： 1. 我们如何构建一个可以搜索的语言表示形式？ 2. 我们如何在语言的独立且有意义的部分（而不是整体）上建立价值观？ 有了这些答案，我们就能清楚地看到如何使用现有的用于强化学习人机交互 (RLHF) 的强化 学习方法。我们利用强化学习优化器来微调语言模型，并通过模块化的奖励（而不是现今的 整个序列）来生成更高质量的结果。 ### 用大语言模型打造思维树：一种新型的模块化推理方法 我们熟悉的“深呼吸”和“一步一步思考”的技巧，如今已经升级，融入了并行计算和启发式策略 等先进方法，用于推动更复杂的推理过程，这些都源自于搜索技术的基本原理。 “思维树 (Tree-of-Thoughts, ToT)”正如其名，它引导语言模型构建一个推理路径树，这些 路径可能最终汇集于一个正确的答案，也可能不会。论文中展示了它与其他大语言模型解题 方法的对比： ![Image.png](https://paooo.com/wp-content/uploads/2024/01/Tree-of-thoughts.webp) Image.png 使思维树发挥作用的关键在于将推理步骤分解，并激发模型创造新的推理步骤。**ToT 可能是 第一个“递归式”的提示技术，用于增强推理能力**，它与人工智能安全领域中对递归自我改善 模型的关注不谋而合（虽然我不是这方面的专家）。 利用这种推理树，我们可以采用不同的方法来评估每个节点，或者选择最终的解题路径。这些 方法可能基于简单的如最短路径选择，也可能涉及需要外部反馈的复杂策略，这又让我们回到 了基于强化学习的人类反馈 (RLHF) 的思路上。 想了解更多？请阅读思维树论文：https://arxiv.org/abs/2305.10601 ### 在生成过程中使用细粒度奖励标签：过程奖励模型 (Process Reward Models, PRM) 传统的强化学习人类反馈 (RLHF) 大多是对整个语言模型回应进行评分。对于熟悉强化学习 的人来说，这种方式有些令人遗憾，因为它限制了深入挖掘文本每个细节部分价值的可能性。 虽然有预测称未来将在多轮对话中实现此类多步骤优化，但这种做法因涉及人工或提示源而 显得不太实际。 将此方法扩展到自我对话风格似乎简单，但难点在于为大语言模型 (LLM) 设定目标，使其适应 持续改进的自我对话动态。大多数我们想要通过 LLM 实现的任务都是重复性工作，与围棋游戏 相比，它们在性能提升上没有太高的上限。 然而，**有一类 LLM 应用恰好适合分步骤理由，自然划分为多个文本段落**，以解决数学问题 为最佳例子。 我在过去半年里经常听到 RLHF 领域人士私下讨论过程奖励模型 (PRM)。虽然关于这些模型 有大量文献，但关于如何将它们与强化学习结合使用的资料却寥寥无几。 PRM 的核心理念是对每个推理步骤进行评分，而不仅仅是整体信息。例如，OpenAI 的论文 Let’s Verify Step by Step 中展示了这样的一个案例： ![Image.png](https://paooo.com/wp-content/uploads/2024/01/Lets-Verify-Step-by-Step- jpeg.webp) Image.png 此外，他们还展示了一种有趣的反馈界面（未来可能由 AI 取代），但这种界面对于理解概念 颇有帮助： ![And the funny feedback interface they used which will be replaced by AIs, but is instructive](https://paooo.com/wp-content/uploads/2024/01/funny-feedback-interface- jpeg.webp) And the funny feedback interface they used which will be replaced by AIs, but is instructive 此方法通过在最大平均奖励或其他指标上取样，而不仅仅依赖单一分数，实现了更细致的生成 和推理问题的处理（在这一领域，标准的奖励模型被称为结果型奖励模型）。采用Best-of- N 抽样方式，本质上是多次生成并选用奖励模型评分最高的结果（这是 Llama 2 推广的拒绝 抽样方法的推理阶段对应物），PRMs 在解决推理任务方面优于标准奖励模型。 迄今为止，大多数关于 PRMs 的资料主要展示了如何在推理阶段使用它们。真正的潜力在于 将这一信号优化应用于训练过程。为了创造最佳的优化环境，能够生成多种推理路径进行评 分和学习至关重要。这就是 Tree-of-Thoughts 的作用所在。**ToT 提供的多样性提示，使得 策略可以通过使用 PRM 学习并加以利用**。 关于 PRMs 的更多资料，可参考以下内容： * _Let’s Verify Step by Step_：一份关于 PRMs 的优秀入门介绍。 * _Solving math word problems with process- and outcome-based feedback_：2023 年 所有 PRM 和推理工作的经典文献。 * _Scaling Relationship on Learning Mathematical Reasoning with Large Language Models_：一篇研究大语言模型在数学推理学习中应用拒绝抽样方法等多方面贡献的论文。 * _Let’s reward step by step: Step-Level reward model as the Navigators for Reasoning_ 另外，有一个受欢迎的公开数学模型据说是通过 PRMs 训练的：Wizard-LM-Math。此外，OpenAI 今年早些时候公布了他们的细致奖励标签，来自于 Verify Step by Step 论文，用于训练 PRM released their fine-grained reward labels。 ### 整合理解：Q* 可能指的是什么 Q* 似乎采用了个性化排名模型（PRM）来对思考树（Tree of Thoughts）的推理数据进行评 分，并通过离线强化学习（Offline RL）进行优化。这种方式与当前那些使用如动态政策优 化（DPO）或迭代学习 Q 学习（ILQL）这类离线算法的强化学习人类反馈（RLHF）工具类似， 这些工具在训练过程中并不需要从大语言模型（LLM）生成数据。在这种方法中，强化学习算法 观察的“轨迹”是一系列推理步骤，因此我们最终以多步骤方式进行 RLHF，而不再是单纯的上下文 带状策略。 考虑到我听说的传闻，OpenAI 已在 RLHF 中使用离线 RL（这本身并不具有太多信息量）， 这对我来说并不是一个惊人的飞跃。这种方法的难点在于收集合适的提示，构建能够生成高 质量推理步骤的模型，最关键的是：准确评估成千上万个完成的任务。 **最后一步则利用了所谓的“巨大计算资源”：用 AI 而不是人类来为每个步骤打分**。在这里， 合成数据显得尤为重要，相较于单一的连续思考路径，树状结构提供了更多选择，帮助我们 最终找到正确答案。 大量的计算资源与我所听闻的大型科技公司（如 Google、Anthropic、Cohere 等）正在使用 过程监督或类似于现实生活人工智能反馈（RLAIF）的方法来创建大规模的预训练数据集的传言 相符，这无疑需要大量的 GPU 时间。这与目前公开模型在该领域的差距令人担忧。 虽然这些核心概念对我来说相对清晰，但要实现这些概念需要极高的模型操作技巧，这是很少 人拥有的。从分布控制到大规模推断，再到 RL 的挑剔性，这些都远远超出了我的知识和经验 范围。这些信息看似自然而然。ToT 和 PRM 的所有评估都集中在数学等推理问题上，这与最近 新闻报道的这种泄露方法的内容完全吻合。即便这不是 Q*，也绝对是一个值得尝试的有趣实验。 ### 超级规模的 AI 反馈数据及未来展望 正如我之前所写，AI 反馈和宪政 AI 在公众意识中的关注度不足。合成数据是迅速扩展数据 集的最佳途径。短期来看，我们显然能够借此创造一些有用的数据。但目前尚不明确的是， 这种方法能扩展到何种程度 — 也就是说，它能否完全替代互联网规模的数据？ ❓ 常见问题解答（FAQ） Q* 传闻到底在讲什么？ 文章认为，Q* 更可能是把 Q-learning 与搜索思想结合到语言推理中，重点不在“神秘新模型” 本身，而在思维树式搜索、过程奖励和分步推理能力的提升。 思维树（ToT）和普通提示有什么区别？ ToT 不是只让模型一次性输出答案，而是把推理拆成多个节点并并行探索不同路径，再对路径 进行评估与筛选，更适合需要多步推理的任务。 过程奖励模型（PRM）有什么实际作用？ PRM 不再只给整段回答打分，而是对中间推理步骤逐步奖励或惩罚，能更精细地优化模型在 数学、逻辑和分步生成任务中的表现。 🔬 语宙深潜追问 · 进阶实操拆解 过程奖励模型怎么落到训练里？ 核心是把“整段对错”拆成“每一步是否更接近正确解”。训练时对中间推理链逐步打分，再用 这些密集反馈更新策略，能显著缓解稀疏奖励问题，尤其适合数学、代码和长链推理任务。 合成数据真能替代人工标注吗？ 不能完全替代，但能把高质量样本的产能放大很多。最佳实践是：先用少量人工种子数据定义 标准，再用模型生成候选、自动筛选、难例回流人工复核，形成闭环，而不是无脑堆量。 🗳️ 读者观点微投票 · 您的实战立场是？ Q* 真能提升推理，还是只是合成数据噱头？ 🕸️ 语宙向量知识图谱 · 语义强关联深度内链 [🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/) * [如何理解关于 OpenAI Q* 的流言 [译]](https://paooo.com/ai-study/7078/) * [思维树：利用大语言模型进行深度问题解决 [译]](https://paooo.com/ai-study/7017/) * [可解释语言模型：探索传统与创新方法 [译]](https://paooo.com/ai-study/7005/) * [AI 论战的荒谬（并且，不，AI 不会在类似于计算机般的时间尺度上进行递归自我完善） [译]](https://paooo.com/ai-study/8456/) [🏛️ 宝玉的分享](https://paooo.com/author/baoyu/) · 前沿大模型翻译与提示词工程实战 分享专栏，聚焦海外一手 AI 技术动态与工程实践。 [📄 Markdown 纯净版](https://paooo.com/ai-study/7029/?format=md) 💡 这篇内容对您有启发吗？ [📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/) **🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词 咒语库 [🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/) [📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)