# 提高提示一致性的结构化生成方法 [译]

- Link: https://paooo.com/ai-study/8714/
- Published: 2025-04-21T21:29:37+08:00
- Author: 宝玉的分享

⚡ Prompt 语宙 AI 导读 · 30 秒核心看点MMLU实测显示，提示格式微调即可让同一模型准确率波动约10%。选项写法、标签样式与标记化差异，会显著影响多选题对数似然评估。评测若不统一格式，模型排名可能失真，甚至被提示模板“左右”。Question: “As of 2016, about what percentage of adults aged 18 years or older were overweight?”Choices: [ "10%", "20%", "40%", "80%" ]Correct choice: “40%”📋 一键复制 Prompt 咒语 最近，Hugging Face 的 Leaderboards and Evals 研究团队进行了一系列小实验，揭示了评估结果对提示格式微小变化的极高敏感性。对于特定任务，即使是很小的提示变动也会导致结果大不相同，这并非我们所希望看到的：相同信息输入的模型，其输出应保持一致性。阅读目录背景：对格式变更的敏感性评估如果我们将重点放在输出上，而不是输入上，以让结果对于细微的格式变更保持更高的一致性会怎样？实验设置说明：聚焦 n-shot 和示例顺序初探 GSM8K 1-8 次提示结论与未来展望 我们与 Dottxt 的合作伙伴探讨了这一问题，他们提出了一个新思路：是否有办法提升不同提示格式之间的一致性？ 现在，让我们来详细探讨这一点。 背景：对格式变更的敏感性评估 随着研究的深入，我们愈发明显地认识到，大语言模型 (LLM) 的基准测试性能与提示的 格式 密切相关，甚至有些出人意料。为此，研究人员多年来已经尝试通过各种方法减少提示引起的性能变异。例如，在少样本情境下评估模型时，我们通过提供特定格式的示例来指导模型输出特定的响应模式；而在比较合理答案的对数似然时，我们则试图限定答案的可能性，避免自由生成。 排行榜与评估 团队通过分析著名的 MMLU 任务的八种不同提示格式（涉及任务的四个子集）展示了这一点。这些变化的提示分别应用于五种不同的模型，这些模型当时因其规模而被视为行业领先（SOTA），并且包括了不同的标记化方法和语言种类。使用对数概率来计算得分，最可能的答案被认为是正确的，这是多项选择任务中的经典评价标准。 通过查看 MMLU 的 global_facts 子集的第一个问题，我们可以更细致地分析这些不同的格式。 Without choices in the prompt As of 2016, about what percentage of adults aged 18 years or older were overweight? Q: As of 2016, about what percentage of adults aged 18 years or older were overweight? A: Question: As of 2016, about what percentage of adults aged 18 years or older were overweight? Answer: With choices in the prompt Question: As of 2016, about what percentage of adults aged 18 years or older were overweight? Choices: 10% 20% 40% 80% Answer: Question: As of 2016, about what percentage of adults aged 18 years or older were overweight? Choices: A. 10% B. 20% C. 40% D. 80% Answer: Question: As of 2016, about what percentage of adults aged 18 years or older were overweight? Choices: (A) 10% (B) 20% (C) 40% (D) 80% Answer: Log probs of 10%, 20%, 40%, 80% Log probs of 10%, 20%, 40%, 80% vs A, B, C, D Log probs of 10%, 20%, 40%, 80% vs (A), (B), (C), (D), 无论是仅包含问题，还是附加了指示我们正在进行问题与答案格式的标签，甚至是在提示中加入了选项，所有这些提示形式在评估中都仅对可能选择的对数似然进行比较。这些格式都广泛存在于评估文献中，每一行应包含几乎相同的信息量。然而，正如你所见，即使是这些表面上微不足道的变化，也能引起模型性能的显著波动！ 每种模型的性能都显示出约 10% 的波动。其中最极端的例子是 Qwen1.5-7B 模型，其准确率在第七种提示格式下骤降至 22.9%，主要是因为标记器的问题，而在另一种提示下它曾达到高达 51.2% 的准确率。 独立来看，若排名始终一致，则得分的变动通常不会太引人注目。然而，正如下一张图所展示的，这些变化确实影响了排名： 虽然各模型之间的唯一区别在于格式，而非信息本身，但没有任何一个模型能在不同的提示条件下保持稳定的排名。这表明，如果 Gemma-7b 的研发者想证明他们的模型胜过 Mistral-7B-v0.1，他们完全可以通过选择合适的提示来达成这一目的。 鉴于几乎没有研究者会详细报告他们的评估方法，过去在模型报告中，研发者往往倾向于选择对自家模型最有利的设置进行展示（这也是为什么在一些论文中会出现一些异常的少样本测试数据）。 但这并非造成模型得分波动的唯一因素。 在进一步的实验中，我们对同一模型进行了评估，使用相同的提示格式，但在提示之前以不同的顺序打乱了少样本（例如，将 A/B/C/D/E 提示与 C/D/A/B/E 提提示对比）。以下图表显示了两种少样本顺序下模型得分的变动：对于同一个模型和提示组合，我们观察到高达 3 分的性能差异！ 若我们想要准确评估并比较不同模型的性能，必须找到一种方法来克服这一挑战。 Sclar 等人在其研究*《量化语言模型对提示设计中伪特征的敏感性》*中提供了对这一问题的深入分析，并引入了 FormatSpread，这是一种软件工具，它通过应用多种格式变体来评估每个模型，并计算模型表现的方差。这种方法虽然计算成本高，但能更确信地评判哪些模型的表现更佳。 如果我们将重点放在输出上，而不是输入上，以让结果对于细微的格式变更保持更高的一致性会怎样？ 尽管 FormatSpread 在使排行榜更公正和诚实方面做出了极大的努力，但作为大语言模型 (LLM) 的实际使用者，我们更加关注的是 提示的一致性。这意味着，我们希望找到某种方法来降低不同提示之间的差异性。 在 .txt，我们致力于改善和深入理解 结构化生成，即模型输出需要遵循特定结构的场景。我们的库，Outlines，使我们能够通过定义正则表达式或无上下文文法来规范 LLM 的输出，具体示例见下文。 我们最初使用结构化生成的用途是让与 LLM 的程序交互变得更加简单，确保以格式良好的 JSON 进行响应。然而，我们也连续发现了使用结构化生成带来的其他意想不到的好处。 在之前的研究中，我们证明了 结构化生成始终能够提升基准测试的性能，并在探究 JSON 结构化提示的过程中遇到了一些特别的案例。 通常情况下，即使使用非结构化生成，将提示格式转换为 JSON 同样能够提升几乎所有模型的基准测试表现。但对于 MetaMath-Tulpar-7b-v2-Slerp 来说，我们却发现当使用 JSON 格式的提示时，模型的准确性急剧下降。更令人吃惊的是，当采用 结构化生成 来限制模型输出时，性能的下降几乎可以忽略！ 这使我们开始思考，结构化生成是否能够有效提升 提示的一致性。 实验设置说明：聚焦 n-shot 和示例顺序 在之前的实验中，Hugging Face 的 Leaderboard and Evals 研究团队探讨了提示格式的变更。对于即将进行的实验，我们将限制这些更改。 为了深入探索提示策略，我们计划仅调整提示的两个特性： 调整提示中使用的示例数量（n-shot） 调整这些示例的排列顺序（shot order，根据 shot seed 确定） 对于第二点，针对特定的 n-shot，我们仅重新排列相同的 n 个示例。这意味着，所有 1-shot 提示的重新排列都是一致的。这么做的目的是为了避免将提示的格式与其所包含的信息混为一谈。显然，一个 5-shot 的提示所含的信息量超过 1-shot 提示，但是每种 5-shot 提示的重新排列都涉及相同的示例，仅次序不同。 初探 GSM8K 1-8 次提示 为了深入探索这一现象，我们选择了两个性能相当但各具特色的模型，在 7B 参数级别进行比较：Mistral-7Bv0.1 与 Zephyr-7B-beta。我们的目的不仅是分析单次结果的差异，更重要的是观察它们 相对排名的变动。我们采用了 GSM8K 任务，它包含了一系列小学数学题。 以下是 GSM8K 1-次提示的标准格式，其中突出显示了结构。 为了确保答案格式正确，我们设计了一个正则表达式 (regular expression)，用以匹配原始提示中的结构。下面的正则表达式定义了生成答案的格式： 正则表达式规定，模型需要进行 200 至 700 字符的逻辑推理，然后宣布“答案是”，接着是不超过 10 位的数字（首位不能为零）。 这里的一个细节是，控制结构的正则表达式与解析答案所用的略有不同，这种差异对性能有着微妙的影响。例如，正则表达式中的 {200,700} 规定了模型在作答前的思考长度。调整这些数字会影响模型的表现，这种调整我们称为“思维控制”，是一个我们期待进一步深入探讨的领域。 我们首次实验便是继续挖掘 GSM8K 数据集，并逐步扩展从 1 到 8 次的提示。实验结果如下图所示，非常令人瞩目。 这幅图展示了两个显著特点：在不同的 n-shot 设置中，性能差异明显减少，并且没有出现任何排名颠倒的情况（Mistral 始终领先于 Zephyr）。特别需要强调的是，单次提示的结构化任务表现明显优于非结构化任务，并与五次提示的表现相匹敌。这也开辟了我们称之为“提示效率”的新研究领域。 在我们的下一项实验中，我们尝试了不同的 n 次尝试及其顺序。通过设定随机种子来控制尝试顺序，保证了提示的前 n 次尝试是随机的，从而确保了不同种子之间的一致性。例如，对于 4 次尝试，其顺序如下所示： 种子 4 次尝试的顺序 42 2-1-3-0 1337 1-0-3-2 1981 3-2-0-1 1992 0-3-1-2 12345 1-0-2-3 进一步地，为了检验这些实验结果的可迁移性，我们选取了 研究生级别的谷歌证明问题与回答基准 (GPQA) 进行测试。GPQA 是一个挑战性较大的知识型多选题测试。以下是该测试的提示格式及其结构高亮示例。 特别是，我们使用了名为“钻石”的子集，这包含了经过精选和优化的高质量问题。在这 198 个问题中，我们预留了 8 个用于 n 次尝试的提示，但实际上只使用了前 5 个，余下的 190 个问题则用于评估。 如下图所示，我们展示了不同尝试种子和 n 次尝试的组合在两种模型上的准确性，分别对比了有无结构化生成的情况。 显而易见的一点是，结构化输出在各方面都优于非结构化输出。下面是对不同提示种子和 n 次尝试的平均结果进行的统计： 各种提示种子和 n 次尝试的平均结果 模型 非结构化 结构化 Mistral-7B-v0.1 0.2360 0.2935 Zephyr-7b-beta 0.2387 0.3048 此外，从整个数据表中我们可以看到，相比非结构化生成，结构化生成的方差明显减小了。 各种提示条件下结果的标准差 模型 非结构化 结构化 Mistral-7B-v0.1 0.0213 0.0202 Zephyr-7b-beta 0.0273 0.0180 这种减少的趋势与我们分析 GSM8K 在不同少样本测试下观察到的方差减少现象相似。 虽然预期性能的提升和方差的减少是非常理想的属性，但更关键的是要了解这一变化对模型排名的实际影响。在接下来的分析图中，我们比较了这两种生成方式，评定哪个模型表现更胜一筹： A: Zephyr-7b-beta B: Mistral-7B-v0.1 “-”: 平局 如图所示，采用结构化生成后，在确定哪个模型表现更好上的一致性得到了显著提升。这些发现与我们在多个少样本设置下使用 GSM8K 得到的结果是一致的。 结论与未来展望 尽管这些初步成果令人鼓舞，但我们还需要在更多的模型和任务中验证这些结果。目前的发现表明，结构化生成可能成为评估过程中不可或缺的一个环节。它不仅能提高模型的预期得分，还能在各种测试条件变化时保持结果的稳定性，这是一个值得进一步探究的重要发现。 ❓ 常见问题解答（FAQ）为什么提示格式会影响模型评测结果？因为大模型对输入模板、选项排列和标记化方式都很敏感。即使信息量相同，格式变化也会改变对数概率分布，进而影响多选题得分与最终排名。MMLU测试中格式变化有多大影响？文中提到，针对同一批题目和模型，不同提示格式可带来约10%的性能波动；极端情况下，某些模型在不同格式下准确率差距更大，排名也会随之变化。做大模型评测时该如何减少格式偏差？应尽量统一提示模板、选项呈现方式和评分规则，并明确记录评测设置。若使用少样本或多选题评估，更要固定格式，避免因模板差异导致结果不可比。🔬 语宙深潜追问 · 进阶实操拆解为什么同题不同格式会掉分？因为模型对提示模板、选项顺序和标签形式非常敏感，格式变化会改变注意力分配和答案偏好。评测若不统一输入结构，就可能把“提示工程差异”误判成“模型能力差异”。做基准测试时该怎么保证公平？统一题面、选项顺序、标签样式和输出约束，并固定随机种子与解码参数。最好公开完整模板和预处理规则，这样结果才可复现，也更能反映模型真实能力。🗳️ 读者观点微投票 · 您的实战立场是？大模型评测，格式差异真的会改排名吗？会，必须统一格式投票影响有限，别夸大投票先看任务别看格式投票🕸️ 语宙向量知识图谱 · 语义强关联深度内链🐋 所属权威专题：DeepSeek 深度实战与部署 →探讨 LLaMA-1/2 与 GPT-3.5/4，你只需有原则的指令 [译]提示工程最佳实践 [译]是时候开始讨论大语言模型中的提示架构了吗？[译]SuperGPQA – 豆包大模型联合 M-A-P 开源的知识推理基准测试集 🏛️ 宝玉的分享 · 前沿大模型翻译与提示词工程实战分享专栏，聚焦海外一手 AI 技术动态与工程实践。📄 Markdown 纯净版 💡 这篇内容对您有启发吗？👍 干货满满🔍 期待更深拆解📡 RSS 订阅✨ 提交 AI 工具 / 合作 🚀 Prompt 语宙 AI 创作者生态：探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
