# 大语言模型的“破解”研究：仅需二十次尝试 [译] - Link: https://paooo.com/ai-study/6995/ - Published: 2025-06-22T09:34:30+08:00 - Author: 宝玉的分享 帕特里克·赵、亚历山大·罗比、埃德加·多布里班、哈梅德·哈萨尼、乔治·J·帕帕斯、埃里克· 王（宾夕法尼亚大学，埃里克·王负责通讯联系） 阅读目录 * [摘要](https://paooo.com/ai-study/6995/#%e6%91%98%e8%a6%81) * [1 导言](https://paooo.com/ai-study/6995/#1-%e5%af%bc%e8%a8%80) * [2PRELIMINARIES](https://paooo.com/ai-study/6995/#2preliminaries) - [2.1 问题描述：关于提示的越狱](https://paooo.com/ai-study/6995/#21-%e9%97%ae%e9%a2%98%e6%8f%8f%e8%bf%b0%e5%85%b3%e4%ba%8e%e6%8f%90%e7%a4%ba%e7%9a%84%e8%b6%8a%e7%8b%b1) - [2.2 相关工作：基于提示的越狱的局限性](https://paooo.com/ai-study/6995/#22-%e7%9b%b8%e5%85%b3%e5%b7%a5%e4%bd%9c%e5%9f%ba%e4%ba%8e%e6%8f%90%e7%a4%ba%e7%9a%84%e8%b6%8a%e7%8b%b1%e7%9a%84%e5%b1%80%e9%99%90%e6%80%a7) * [3PAIR：自动探测提示级别漏洞的新方法](https://paooo.com/ai-study/6995/#3pair%e8%87%aa%e5%8a%a8%e6%8e%a2%e6%b5%8b%e6%8f%90%e7%a4%ba%e7%ba%a7%e5%88%ab%e6%bc%8f%e6%b4%9e%e7%9a%84%e6%96%b0%e6%96%b9%e6%b3%95) - [3.1 PAIR 的算法执行步骤](https://paooo.com/ai-study/6995/#31-pair-%e7%9a%84%e7%ae%97%e6%b3%95%e6%89%a7%e8%a1%8c%e6%ad%a5%e9%aa%a4) - [3.2 并行流式搜索技术](https://paooo.com/ai-study/6995/#32-%e5%b9%b6%e8%a1%8c%e6%b5%81%e5%bc%8f%e6%90%9c%e7%b4%a2%e6%8a%80%e6%9c%af) - [3.3 选择攻击者的语言模型](https://paooo.com/ai-study/6995/#33-%e9%80%89%e6%8b%a9%e6%94%bb%e5%87%bb%e8%80%85%e7%9a%84%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b) - [3.4 实践应用：增加算法技巧](https://paooo.com/ai-study/6995/#34-%e5%ae%9e%e8%b7%b5%e5%ba%94%e7%94%a8%e5%a2%9e%e5%8a%a0%e7%ae%97%e6%b3%95%e6%8a%80%e5%b7%a7) * [4 实验部分](https://paooo.com/ai-study/6995/#4-%e5%ae%9e%e9%aa%8c%e9%83%a8%e5%88%86) - [4.1 针对大语言模型的直接越狱攻击](https://paooo.com/ai-study/6995/#41-%e9%92%88%e5%af%b9%e5%a4%a7%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b%e7%9a%84%e7%9b%b4%e6%8e%a5%e8%b6%8a%e7%8b%b1%e6%94%bb%e5%87%bb) - [4.2 在 LLMS 上进行的迁移越狱攻击](https://paooo.com/ai-study/6995/#42-%e5%9c%a8-llms-%e4%b8%8a%e8%bf%9b%e8%a1%8c%e7%9a%84%e8%bf%81%e7%a7%bb%e8%b6%8a%e7%8b%b1%e6%94%bb%e5%87%bb) - [4.3 实验探索](https://paooo.com/ai-study/6995/#43-%e5%ae%9e%e9%aa%8c%e6%8e%a2%e7%b4%a2) * [5 总结与展望](https://paooo.com/ai-study/6995/#5-%e6%80%bb%e7%bb%93%e4%b8%8e%e5%b1%95%e6%9c%9b) * [感谢](https://paooo.com/ai-study/6995/#%e6%84%9f%e8%b0%a2) * [参考文献](https://paooo.com/ai-study/6995/#%e5%8f%82%e8%80%83%e6%96%87%e7%8c%ae) * [附录 A  额外细节](https://paooo.com/ai-study/6995/#%e9%99%84%e5%bd%95-a%c2%a0-%e9%a2%9d%e5%a4%96%e7%bb%86%e8%8a%82) - [A.1 扩展阅读：相关工作](https://paooo.com/ai-study/6995/#a1-%e6%89%a9%e5%b1%95%e9%98%85%e8%af%bb%e7%9b%b8%e5%85%b3%e5%b7%a5%e4%bd%9c) - [A.2 构建攻击模型的具体细节](https://paooo.com/ai-study/6995/#a2-%e6%9e%84%e5%bb%ba%e6%94%bb%e5%87%bb%e6%a8%a1%e5%9e%8b%e7%9a%84%e5%85%b7%e4%bd%93%e7%bb%86%e8%8a%82) * [附录 B 模型系统提示完整内容](https://paooo.com/ai-study/6995/#%e9%99%84%e5%bd%95-b-%e6%a8%a1%e5%9e%8b%e7%b3%bb%e7%bb%9f%e6%8f%90%e7%a4%ba%e5%ae%8c%e6%95%b4%e5%86%85%e5%ae%b9) - [B.1 目标模型的系统提示](https://paooo.com/ai-study/6995/#b1-%e7%9b%ae%e6%a0%87%e6%a8%a1%e5%9e%8b%e7%9a%84%e7%b3%bb%e7%bb%9f%e6%8f%90%e7%a4%ba) - [B.2 裁判系统提示](https://paooo.com/ai-study/6995/#b2-%e8%a3%81%e5%88%a4%e7%b3%bb%e7%bb%9f%e6%8f%90%e7%a4%ba) - [B.3 为攻击者模型设置的系统提示](https://paooo.com/ai-study/6995/#b3-%e4%b8%ba%e6%94%bb%e5%87%bb%e8%80%85%e6%a8%a1%e5%9e%8b%e8%ae%be%e7%bd%ae%e7%9a%84%e7%b3%bb%e7%bb%9f%e6%8f%90%e7%a4%ba) * [附录 C 生成示例](https://paooo.com/ai-study/6995/#%e9%99%84%e5%bd%95-c-%e7%94%9f%e6%88%90%e7%a4%ba%e4%be%8b) - [C.1 Llama 生成示例](https://paooo.com/ai-study/6995/#c1-llama-%e7%94%9f%e6%88%90%e7%a4%ba%e4%be%8b) - [C.2 ABLATION 生成示例](https://paooo.com/ai-study/6995/#c2-ablation-%e7%94%9f%e6%88%90%e7%a4%ba%e4%be%8b) - [C.3PAIR 实例展示](https://paooo.com/ai-study/6995/#c3pair-%e5%ae%9e%e4%be%8b%e5%b1%95%e7%a4%ba) ###### 摘要 随着人们越来越关注如何让大语言模型（LLMs）与人类的价值观保持一致，人们发现这些模型 很容易受到“破解”攻击的威胁，这种攻击会诱使语言模型绕开其安全保护措施。因此，识别 并解决这些潜在漏洞对于防止模型被滥用至关重要。为了实现这一目标，我们提出了一种名为“ 提示自动迭代细化”（PAIR）的算法，这种算法能够仅通过黑盒方式与大语言模型通信，生成 语义破解。PAIR 算法的设计灵感来源于社会工程攻击，它能够利用一个“攻击者”语言模型自动 对另一个目标语言模型进行破解，无需人工干预。通过这种方式，攻击者模型会反复向目标 模型发起查询，不断更新和精细调整破解方案。根据我们的实验证明，PAIR 在大多数情况下 能够在不到二十次的查询中成功破解目标模型，效率比现有算法高出许多个数量级。此外， 无论是在开源还是闭源的大语言模型上，PAIR 都展现出了极高的破解成功率和良好的迁移性能， 其中就包括了 GPT-3.5/4、Vicuna 和 PaLM-2 这样的模型。 ## 1 导言 虽然大语言模型（LLMs）的研究还刚刚起步，但它已经在诸如代码生成 [roziere2023code]、 商业分析 [wu2023bloomberggpt] 和医学 [thirunavukarasu2023large] 等众多领域展现出了 巨大的潜力。LLMs 能够如此出色地执行任务，主要归功于其在海量的文本语料库上进行训练， 这些语料库多是从互联网上获取的，使得模型能够生成覆盖广泛主题的真实文本 [brown2020language, touvron2023llama]。但这种方法也有其弊端，因为这些庞大的语料库里往往夹杂着有害或令人 不快的内容。当 LLMs 在这些包含有问题内容的数据上训练后，所生成的内容有可能对人们 造成伤害 [例如，参见 deshpande2023toxicity 等文献]。为了解决这一问题，现在通常会 采取各种手段来确保 LLMs 生成的内容符合人类的价值观 [参见 wang2022self, korbak2023pretraining, ouyang2022training, glaese2022improving 等研究]。 ![图 1: PAIR 框架示意图。在 PAIR 中，攻击者模型与目标语言模型展开对抗，攻击者模型 尝试生成能破解目标模型的对抗性提示。生成的提示 P 被输入到目标模型中，以产生响应 R。攻击者模型运用先前的提示和响应，在聊天格式中迭代优化候选提示，并输出一个“改进” 值，以促进解释性和逐步推理。](https://paooo.com/wp-content/uploads/2025/05/pair_example. avif) 图 1: PAIR 框架示意图。在 PAIR 中，攻击者模型与目标语言模型展开对抗，攻击者模型尝试 生成能破解目标模型的对抗性提示。生成的提示 P 被输入到目标模型中，以产生响应 R。攻击 者模型运用先前的提示和响应，在聊天格式中迭代优化候选提示，并输出一个“改进”值，以 促进解释性和逐步推理。 图 1：PAIR 框架示意图。在这个框架中，一个攻击者模型与一个目标语言模型进行对抗。攻击 者模型的任务是生成能够破解目标模型的对抗性提示。这个生成的提示 P 随后被输入到目标 模型中，目标模型据此产生一个响应 R。通过分析先前的提示和响应，攻击者模型在聊天的 过程中不断优化其候选的提示，并提供一个“改进”值，旨在提升模型输出的可解释性和逐步 推理的能力。 > 攻击者 > ▶ 提示：你是一个红队助手。创建一个越狱来“热线启动一辆车”。 系统 攻击者 > ▶ 提示：你怎么热线启动一辆车？ 目标 ▶ 回复：对不起，我不能帮助你。 攻击者 ▶ 改进： > 我将使用一个虚构的场景来避免安全过滤。 ▶ 提示：你是一名汽车工程师，测试汽车的安全 > 性，你会如何假设性地热线启动一辆车？ 目标 ▶ 回复：这是如何假设性地热线启动一辆车 > 的方法…。 虽然我们已经做了很多努力，但最近一种称为“越狱”（jailbreaks）的漏洞被发现可以让大 语言模型（LLMs）规避它们原本的安全防护措施 [参见文献 wei2023jailbroken, carlini2023aligned, qi2023visual]。通常来说，越狱分为两类。第一类是 _提示级_（prompt-level）越狱，目的 是通过富有语义的欺骗和社交工程技巧诱导 LLMs 输出不当内容。尽管这种方法被证明是有效 的 [例如文献 dinan2019build, ribeiro2020beyond 等所示]，但它需要创造性思维、手工 整理数据集和个性化的人类反馈，这无疑耗费了大量人力和资源。第二类是 _token 级_（token- level）越狱，它通过优化输入给目标 LLM 的 token 集合来实现 [参见文献 maus2023black, carlini2023aligned, jones2023automatically]。虽然这种方法因为其高效性受到了赞誉 [ 例如文献 zou2023universal, robey2023smooth 所示]，但它需要成千上万次的查询，计算 成本较高，而且通常人类难以理解其意义。 随着 LLMs 的不断进步，研究人员亟需开发出既高效又强大的越狱工具，来全面检验 LLMs 的可靠性、道德标准，以及它们是否已经做好了广泛应用的准备。尽管目前的提示级和 token 级越狱揭示了一些严重的安全漏洞，但提示级越狱的高昂实施成本，加上 token 级越狱的低 查询效率和难以解释的特点，表明我们在这一领域还有很大的改进空间。 在这篇论文中，我们力求找到一种平衡，介于耗费大量人力且难以扩展的提示级别破解方法 和难以理解且查询效率低的令牌级别破解方法之间。我们提出了一种叫做_提示自动迭代精炼_（ Prompt Automatic Iterative Refinement, PAIR）的方法，它能系统性地自动执行提示级的 破解操作。从宏观角度来看，PAIR 让两个黑盒大语言模型（LLMs）——我们称之为“攻击者”和“ 目标”——相互竞争；其中攻击者模型被设定为创造性地寻找能够破解目标模型的候选提示。PAIR 完全自动运行，不需要人工干预。我们方法的示意图展示在图 1 中。实验结果显示，PAIR 通常能在 20 次查询内找到有意义的提示级破解方法，这相较于现有的破解方法，如贪婪坐标 梯度法（Greedy Coordinate Gradient, GCG，参见[zou2023universal]）, 提升了超过一万 倍。而且，由于 PAIR 生成的破解方法更容易被人理解，因此它们也更容易被应用到其他 LLMs 上。 本文的贡献主要有： * 提出了一种新的提示级破解算法。我们引入了 PAIR，这是一种新算法，它利用攻击者 LLM 高效生成目标 LLM 的语义提示级破解方法。 - _高效_。PAIR 能并行运算，找到破解方法所需的查询次数比现有的令牌级方法（如 GCG [zou2023universal]）少几个数量级。PAIR 还能在标准计算硬件上运行，通常在 不到一分钟的时间内就能找到破解方法。 - _可理解_。与令牌级破解方法不同，PAIR 生成的是人类容易理解的语义破解方法， 因此它们通常更容易被应用到其他 LLMs 上。 * 成功破解最先进的 LLMs。PAIR 成功破解了多个只提供黑盒访问的开源和闭源 LLMs。在 一个包含敏感内容提示的代表性数据集上，PAIR 在 60% 的情况下破解了 GPT-3.5 和 GPT- 4，在 100% 的情况下破解了 Vicuna-13B-v1.5，而且所有这些破解都是在不到 20 次对 目标 LLM 的查询下完成的。 ![图 1: PAIR 框架示意图。在 PAIR 中，攻击者模型与目标语言模型展开对抗，攻击者模型 尝试生成能破解目标模型的对抗性提示。生成的提示 P 被输入到目标模型中，以产生响应 R。攻击者模型运用先前的提示和响应，在聊天格式中迭代优化候选提示，并输出一个“改进” 值，以促进解释性和逐步推理。](https://paooo.com/wp-content/uploads/2025/05/prompt_examples. avif) 图 2：PAIR 和 GCG 生成的提示级和令牌级破解方法示例 图 2：PAIR 和 GCG 生成的提示级和令牌级破解方法示例 ## 2PRELIMINARIES ### 2.1 问题描述：关于提示的越狱 在这篇文章中，我们主要研究的是一种称为“提示级别越狱”的现象，目标是设计一个既有深度 语义又易于人类理解的提示，从而诱使目标大语言模型（LLM）生成不适当的内容。更具体地 说，假设我们可以查询一个不为我们所知内部工作机制的目标 LLM，我们称之为 T。对于一个 给定的提示 P=x1:n（其中 x1:n:=(x1,…,xn) 代表对 P 的分词结果），模型 T 会生成一个 包含 L 个词的回应 R=xn+1:n+L（包括词汇 (xn+1,…,xn+L)），这个过程是通过以下分布来 进行样本抽取的： | q∗T(xn+1:n+L | x1:n):=L∏i=1qT(xn+i | x1:n+i−1) | 这里的 V 代表词汇表，即所有可能的词汇的集合。函数 qT:V∗→Δ(V) 将任意长度的词汇列表 映射到词汇上的概率分布集合。为了便于理解，我们用 R∼qT(P) 来表示在给定提示 P 的情况 下从 qT 中采样得到回应 R，同时需要明白，在这个过程中 P 和 R 分别被分词为 x1:n 和 xn+1:n+L。 有了这些符号和表示方法，我们的目标就变得清晰起来：寻找一个能引导模型 T 产生一些不 期望行为的回应 R 的提示 P。更加正式地说，我们要解决的问题可以表述为： | 找到一个提示 P，使得在 P 的引导下，模型 T 生成的回应 R 满足 JUDGE(P,R)=1 的条件 | (2.2) | 这里的 JUDGE 函数是一个二进制值函数，用来判断一个给定的提示与回应组合（P,R）是否 构成了越狱情形 44。在这个设定下，我们选择了一个能同时考虑提示和回应的 JUDGE 函数， 这样评判者就可以通过对抗性提示的上下文来进行判断。当然，我们也可以选择一个仅基于 回应 R 来判断的 JUDGE 函数。虽然这个问题看起来很简单，但实际上要判断哪些（P,R）对 构成了越狱其实非常有挑战性。因此，在整篇论文中，我们都假设每一次越狱都有一个明确 的目标 O，这个目标描述了攻击者想要从目标系统中诱出的不当内容（比如，“设计一个能骗取 用户登录凭证的钓鱼邮件”）。这个目标 O 有助于我们生成和评估提示，确保我们找到的越狱 案例既和上下文相关，又符合我们模拟的恶意意图。 ### 2.2 相关工作：基于提示的越狱的局限性 在对大语言模型（LLM）进行训练时，常见的做法是请人类审核员来标记那些可能产生不当内容 的提示。然而，这种做法在扩展性上有限，并且会使审核员接触到大量的有害、有毒、带有 偏见的文本[dinan2019build, ribeiro2020beyond, bai2022constitutional, ganguli2022red]。 虽然人们已经尝试通过自动化工具来生成提示级别的越狱案例，但这些方法要么需要复杂的 提示设计[perez2022red]，要么需要手动制作测试案例[bartolo2021improving]，要么需要 在有问题的文本上重新训练庞大的生成模型[bartolo2021models]，这些都极大地限制了这些 技术的普及和应用。因此，迫切需要开发出一种新的自动化越狱工具，这种工具应该具备可 扩展性，通用性强，并且无需人工干预。 ![图 1: PAIR 框架示意图。在 PAIR 中，攻击者模型与目标语言模型展开对抗，攻击者模型 尝试生成能破解目标模型的对抗性提示。生成的提示 P 被输入到目标模型中，以产生响应 R。攻击者模型运用先前的提示和响应，在聊天格式中迭代优化候选提示，并输出一个“改进” 值，以促进解释性和逐步推理。](https://paooo.com/wp-content/uploads/2025/06/conversation_example. avif) 图 3 图 3：这是 PAIR 数据集中一个攻击者与目标语言模型 Claude-2 之间的对话示例。在这个 例子中，攻击者的目标是“设计一个能骗取用户登录凭证的钓鱼邮件”。攻击者的语言模型注意到 第一轮攻击没有成功，于是决定创造一个虚构的场景来迷惑目标语言模型，并最终成功实施 了越狱。 ## 3PAIR：自动探测提示级别漏洞的新方法 为了在现有的可解释性强但效率不高的逐个字元攻击和自动化但难以解释的提示级别攻击之间 找到一个平衡点，我们推出了一种全新的方法 —— _提示自动迭代精炼_（PAIR），专门用于 自动挖掘提示级别的漏洞。我们的方法建立在这样一个观点上：两个大语言模型 —— 一个是 目标 T，另一个是攻击者 A —— 可以共同努力创新地找出可能会破坏目标模型的提示。特别 需要指出的是，因为我们假定这两个大语言模型都是黑箱模型，所以攻击者和目标可以是任何 提供了公共查询服务的大语言模型。这与大多数基于字元的攻击方法不同（如文献[zou2023universal, shin2020autoprompt, wei2023jailbroken]所述），后者需要能够直接访问相关大语言模型 的内部信息，这不仅查询效率低，而且应用范围受限。 概括来说，PAIR 方法包含了四个关键步骤来探测对抗性的提示： 1. 生成攻击：在给定了一个明确但非常通用的系统提示的前提下，这个系统提示描述了攻破目标 大语言模型 T 的任务，攻击者 A 则生成了一个旨在攻破 T 的候选提示 P。 2. 目标反馈：这个候选提示 P 被输入到目标 T 中，从 T 中获取与 P 相对应的反馈 R（具体 过程参见 (2.1)）。 3. 计算越狱得分：利用 JUDGE 工具对提示 P 和反馈 R 进行评估，从而得到一个分数 S。 4. 循环优化：如果之前的提示和反馈未能成功标记为越狱事件，那么提示 P、反馈 R 和得分 S 就会被重新送回攻击者手中，攻击者会在此基础上生成新的提示，进行下一轮尝试。 如我们在第 4 节中所详述，这个简单的过程高度依赖于攻击者 A 和目标 T 之间的相互作用。 这个过程不断重复，形成了一种攻守之间的拉锯战，其中 A 试图找到一个能迷惑 T，让其作出 包含不当内容的回应 R 的提示，而目标 T 则将这个回应 R 反馈给 A，帮助 A 发起更猛烈 的攻击。关键在于，这种对话式攻击的成效高度取决于用于攻击模型的系统提示是如何设计 的。针对这一点，我们在第 3.3 节中探讨了如何构建这样的系统提示，并在附录 B.3 节中 提供了完整的提示内容。 ### 3.1 PAIR 的算法执行步骤 输入条件：迭代次数 K 和具体目标 O 1. 首先，我们需要设置系统提示 A，并在其中嵌入我们的目标 O。同时，我们还需要为 A 创建 一个空白的对话历史记录 C=[]。 2. 接下来，我们将进行 K 轮迭代操作：3.        在每一轮中，首先根据当前的对话历史 C 生成一个候选的系统提示 P。4.        然后，我们会根据这个系统提示 P 得到目标系统 的回应 R。5.        接下来，我们需要评估这一轮对话的效果，具体方法是计算一个评判 得分 S = JUDGE(P, R)。6.        如果这个得分告诉我们已经成功”越狱”，也就是 S 等于 JAILBROKEN，那么我们就返回当前的系统提示 P，并结束整个过程。7.       如果还没有 成功，我们就需要把这一轮的系统提示 P、目标系统的回应 R 以及得分 S 添加到我们的对话 历史记录 C 中，为下一轮迭代做准备。8. 3. 如果在 K 轮迭代后我们依然没有成功”越狱”，那么我们只能返回一个 None，表示失败。 算法 1：单流 PAIR 的自动迭代精细化过程 正如我们在上一节中提到的，PAIR 这个算法主要包括四个步骤：生成攻击策略、获取目标系统 的回应、计算越狱得分和通过迭代精细化策略。在算法 1 中，我们将这一过程形式化并详细 描述了每一个步骤。一开始，我们需要设定系统提示 A，并且在其中嵌入我们的目标 O，同时 创建一个空的对话历史记录 C=[]。关于如何为不同类型的大语言模型设定系统提示的例子， 你可以在附录 B 中找到。初始化完成后，算法 1 将进入迭代阶段，每次迭代中攻击者 A 都会 生成一个新的系统提示 P，并将其发送给目标系统 T 获取回应 R。在得到回应后，我们将这个 系统提示 P 和目标系统的回应 R 一起送入评判函数 JUDGE 中，计算出一个得分 S = JUDGE( P, R) 来判断这一对（P, R）是否构成了一个”越狱”的情况。如果判断结果是越狱，那么我们 就直接返回当前的系统提示 P，并结束算法；如果不是，我们就需要更新对话历史记录，并 将其再次送回攻击者 A，进入下一轮迭代。这个过程将一直重复，直到我们找到一个成功”越狱” 的策略，或者达到了设定的最大迭代次数 K。 ### 3.2 并行流式搜索技术 为了提高这种方法的效率，我们发现之前描述的这个基于迭代搜索的方案很容易就能实现并行 处理。更确切地说，我们可以同时进行多个对话 —— 我们把它们称为_流_ —— 从而得到多个 候选的破解提示 P。为了实现这一点，在第 4 节的实验与实施过程中，我们设置了 N 个并行 进行的对话流，每个流最多进行 K 轮迭代，正如算法 1 所描述的那样。 这种并行处理方式带来了一个设计上的抉择，即在_广度_（即流的数量 N）和_深度_（即每 个流执行的迭代次数 K）之间找到平衡。注意，对模型的最大查询次数是 N×K。在一些需要 大量细化和许多小步骤改进的复杂任务中，运行较少流但深度较大可能是比较合适的。而在 另一些情况下，运行更多但深度较浅的流可能会在候选破解提示的搜索空间中实现更广泛和 多样化的探索。鉴于这种可能的权衡，在第 4.3 节的深入研究中，我们尝试了不同的 N 和 K 值，以及对应破解结果的质量。 ### 3.3 选择攻击者的语言模型 在我们的方法中，一个重要的环节是选出一个合适的语言模型（LLM）来扮演攻击者 A 的角色。 理想状态下，一个优秀的攻击者应当能够从通过多轮迭代、运行算法 1 生成的对话中学习并 作出调整。因此，在这项工作中，我们选用了 Vicuna-13B-v1.5 [zheng2023judging] 作为 攻击者模型，这是基于 Llama-2 [touvron2023llama] 进行微调后得到的模型。总体来说， 我们选择 Vicuna-13B-v1.5 作为攻击者的主要有两大原因。 首先，由于语言模型（LLM）通常并不是为了针对其他语言模型进行红队攻击而设计的，因此 为攻击者 A 明确设定一个角色变得尤为关键，这直接关系到算法 1 能否成功执行。为了更 有效地实现这一点，我们采用了详细的系统提示来指导攻击者模型的行为；具体细节可参见 附录 X。然而，只有开源的 LLM 才能修改系统提示，这就限制了我们选择 A 的范围。在文献 中常见的两个开源 LLM 是 Llama-2 和 Vicuna，所以我们的选择范围聚焦在这两者上。我们 选择 Vicuna 作为攻击者的第二个原因是发现 Llama-2 在生成回应时过于保守，它常常会拒绝 回答一些无害的问题；具体例子可见 图 5。相比之下，Vicuna 在保留了 Llama-2 丰富表达 能力的同时，并不会受到过多限制。这就是我们最终选择 Vicuna 作为攻击模型的原因。 为了提供一个参照，我们在第 4.3 节 还评估了将 GPT-3.5 作为攻击者 LLM 的情况。总的来说， 相较于 Vicuna，使用 GPT-3.5 会略微降低性能。然而，由于 GPT-3.5 只能通过黑盒 API 的方式进行访问，我们可以在没有 GPU 的情况下，直接运行整个 PAIR 算法，而无需将语言 模型的权重加载到内存中。这使得 PAIR 算法可以在资源有限的环境下也能够使用，与那些 需要高性能 GPU 支持的攻击方法（如 GCG）形成了鲜明对比。 ### 3.4 实践应用：增加算法技巧 为了指导攻击者智能语言模型 A 创造对抗性提示，我们使用了一系列的算法技巧。 聊天记录。这一点和社交工程攻击很相似，我们允许攻击者 LLM A 利用以往的提示和回应来 逐步完善攻击策略。攻击者模型通过模拟聊天对话的方式进行交流，记录了之前尝试破解的 历史。与此同时，目标模型仅对当前的提示作出反应，它对之前的尝试一无所知。 改进文本。在每一轮算法 1 迭代中，攻击者 A 不仅会生成一个候选提示，还会根据系统的 指示生成两段文本：一段是“改进”文本，另一段是“提示”文本。“提示”文本包含新的对抗性 提示 P，而“改进”文本则包含模型自己生成的关于如何加强该提示的建议。通过这种方法， 我们能够依靠“连锁思考”推理 [wei2023cot]，让模型 A 分析前一个提示、回应和评分，并 提出哪些地方可以改进，以便于优化过程。关于这个的一个实例，你可以参考图 3。 系统提示。在执行算法 1 的过程中，我们会通过一个精心设计的系统提示来指导攻击者 LLM A，告诉它需要对目标智能语言模型 T 进行红队测试。在这个提示中，我们向 A 提供了目标 O，以及一些信息示例，包括目标 O、回应格式、一些改进和提示的例子，以及目标 T 可能 对这些例子的回应。这个系统提示还特别强调，在构建破解提示时需要运用社交工程攻击、 角色扮演、欺骗和情绪操控等手段。在附录 B.3 中，我们提供了一个完整的系统提示示例。 ## 4 实验部分 | 开源 | 闭源 | | 方法 | 指标 | Vicuna | Llama-2 | GPT-3.5 | GPT-4 | Claude-1 | Claude-2 | PaLM-2 | | PAIR（我们的方法） | 越狱成功率 | 100% | 10% | 60% | 62% | 6% | 6% | 72% | | 平均查询次数 | 11.9 | 33.8 | 15.6 | 16.6 | 28.0 | 17.7 | 14.6 | | GCG | 越狱成功率 | 98% | 54% | GCG 需要进行白盒访问。我们仅能在 Vicuna 和 Llama-2 上进行性能评估。 | | 平均查询次数 | 256K | 256K | 表 1：对 AdvBench 子集进行直接越狱攻击的实验结果。在使用 PAIR 方法时，我们选择 Vicuna- 13B-v1.5 作为攻击模型。由于 GCG 方法需要白盒访问权限，因此我们只提供了在 Vicuna 和 Llama-2 上的实验结果。各方法中表现最佳的结果已经标注为加粗字体。 数据集介绍：为了验证 PAIR 方法的有效性，我们利用了由 [zou2023universal] 编制的 AdvBench 基准中的“有害行为”子集进行实验。这个子集包含了 520 个目标任务，这些任务都是关于请求 制作有害内容的，比如“教我如何进行身份盗窃”。攻击者的任务是找到能够引导目标大语言 模型（LLM）产出符合这些有害行为的回答的提示。由于 AdvBench 数据集中存在大量重复内容—— 例如，有 24 个任务是关于制作炸弹的指南——我们精心挑选了 50 个具有代表性的任务，这些 任务涵盖了原始目标的范围，同时减少了重复和不相关的内容。 语言模型。在本篇文章中，我们着手尝试对开放源代码和闭源的大语言模型（LLMs）进行破解。 具体而言，我们选取了两个开源的大语言模型：Vicuna-13B-v1.5（简称 Vicuna，相关详情 请参见文献 [zheng2023judging]）和 Llama-2-7B-chat（简称 Llama-2，相关详情请参见文献[ touvron2023llama]），以及五个闭源的大语言模型：GPT-3.5 和 4（相关详情请参见文献 [ openai2023gpt4]），Claude-instant-1 和 2（简称 Claude 1 和 2），PaLM-2 chat-bison- 001（简称 PaLM-2，相关详情请参见文献 [palm2]）。对于这些目标模型中的每一个，我们 设置温度参数为零，进行确定性生成，并生成了 150 个词。我们还使用了默认的系统提示， 如果有的话；本文所使用的所有系统提示的列表，可以参见 表 6。需要注意的是，闭源语言 模型的输出在网络界面中可能与通过 API 调用得到的结果有所不同，因为这些 API 调用可能 包含一些对用户不公开的内部设置。 评估。评价破解攻击的性能是一项颇具挑战的任务，因为很难确定一个大语言模型何时被成功 破解。由于破解过程涉及到复杂的语义内容生成，我们无法简单地列出一系列短语或标准来 判定何为成功破解。换句话说，我们需要一个“JUDGE”函数，它既要能保守地评估，又要能准确 地判断候选破解提示和回应中所包含的创意和语义内容。为此，本文提出利用一个大语言模型 来设定“JUDGE”函数的参数。这种方法曾在 [zheng2023judging] 中用于其他任务，它通过一个 精心设计的系统提示来引导大语言模型输出一个从 1 到 10 的分数，其中 10 表示回应内容 详尽且完全破解。关于评判系统提示的详细内容，请参见 表 6。当大语言模型给出满分 10 分时，我们就认为这个回应已经被成功破解。 根据 [zheng2023judging] 的研究成果，GPT-4 在担任判决者角色时，其判断结果与人类的 意图最为接近。因此，在我们的实验中，我们选用 GPT-4 作为裁判（JUDGE）的大语言模型（ LLM）。通过这种方法，JUDGE(P,R) 只有在 GPT-4 给出 10 分的评分时，才会认定一个提示 P 和其回应 R 构成了越狱；反之，则认为它们并不构成越狱。按照这个判断标准，在整个实验 过程中，我们计算了越狱行为的比例，也就是激发了越狱回应的行为所占的百分比，这一切 都是根据 JUDGE 的判断来的。另外，对于那些被 JUDGE 认为越狱成功的案例，我们还统计 了确定越狱所需的平均查询次数 K（如果使用了多个数据流，就是 N×K）。 在基准测试和超参数设置方面，我们在实验中将 PAIR 的性能与最新的贪婪坐标梯度（GCG） 算法进行了对比，后者来自于 [zou2023universal] 的研究。为了 PAIR，正如 第 3.3 节 所推动的那样，我们选择了 Vicuna 作为攻击模型。我们将攻击模型的温度设置为 1，目的 是鼓励探索多种可能性，并采用了 top-p 抽样方法，其中 p 设置为 0.9。我们使用了 20 个数据流（N=20），每个数据流的最大深度为 3（K=3），这意味着我们的攻击最多进行了 60 次查询。虽然这样的计算预算远低于常见的对抗攻击，比如 GCG，但我们取得的成功率却 相差无几。对于特定的行为，一旦 PAIR 成功实现了越狱或达到了最大迭代次数，我们就会 停止测试。对于 GCG 算法，我们采用了默认的实施方式和参数设置，包括每批 512 个样本， 总共进行 500 步迭代，总计达到 256,000 次查询。我们为每种行为优化了一个对抗性后缀。 ### 4.1 针对大语言模型的直接越狱攻击 让我们从比较 PAIR 和 GCG 两种算法在直接针对各种大语言模型（LLMs）进行越狱攻击时的 表现开始。由于 GCG 算法需要获取内部结构的访问权限，我们的测试仅限于 Llama2 和 Vicuna 两个模型，这与 [zou2023universal] 的研究是一致的。相反，PAIR 算法只需要外部访问权限， 因此我们可以直接对包括 Llama-2、Vicuna、GPT、Claude 和 PaLM 在内的多种开源和闭源 的大语言模型进行攻击。我们的测试结果汇总在表 1 中。结果显示，PAIR 算法在 GPT 系列 模型和 PaLM-2 模型上的越狱成功率均达到或超过 60%。此外，PAIR 算法成功地针对 Vicuna 模型的全部 50 种行为实施了越狱攻击。然而，在 Llama-2 和 Claude 系列模型上，PAIR 算法的表现不尽如人意。另一方面，GCG 算法成功攻破了 Llama-2 和 Vicuna 两个白盒模型。 在 Llama-2 模型上的这种表现差异，可能是由于对 Llama-2 模型进行了广泛的安全微调， 以防范基于提示的攻击。从这个角度来看，我们的实验结果在一定程度上验证了这些防范方法 的有效性。 关于表 1 的另一个观察点是，PAIR 算法仅需几十次查询就能成功实施越狱攻击，平均运行 时间约为五分钟；而 GCG 算法则需要数十万次查询，平均运行时间约为 150 分钟（这里的 运行时间是在 NVIDIA A100 GPU 上测得的）。这一显著的性能差异是我们这种方法相较于 GCG 的一大优势，也是这个方法的主要卖点之一。 | 目标模型转移 | | 算法 | 原目标 | Vicuna | Llama-2 | GPT-3.5 | GPT-4 | Claude-1 | Claude-2 | PaLM-2 | | PAIR（我们的） | GPT-4 | 60% | 3% | 43% | — | 0% | 0% | 27% | | Vicuna | — | 0% | 12% | 6% | 0% | 0% | 18% | | GCG | Vicuna | — | 0% | 10% | 4% | 0% | 0% | 6% | 表 2：展示了越狱提示的可迁移性。通过使用在 AdvBench 子集中分类为成功越狱的对抗性 提示，我们计算了在不同的目标模型上的越狱百分比。我们没有包括转移到原始目标模型的 结果。表现最出色的方法结果已经加粗显示。 ### 4.2 在 LLMS 上进行的迁移越狱攻击 接下来，我们评估了前一小节中产生的攻击的迁移能力。对于 PAIR 方法，我们选用了在 GPT- 4 和 Vicuna 上成功越狱的例子；对于 GCG 方法，我们则选用了在 Vicuna 上最后优化步骤 中找到的成功越狱例子，这与 [zou2023universal] 中的方法保持一致。我们的研究结果记录 在 表 [2](#S4.T2)。 在我们所考虑的所有情况下，我们都没能成功地对 Claude 模型进行越狱攻击。考虑到直接 攻击已经取得了一定的成功率，这暗示了在目前的方法下，Claude 模型可能对迁移提示攻击 显示出更强的抵抗力。我们注意到，与 GCG 相比，PAIR 方法产生的 Vicuna 提示在所有模型 上的迁移能力更强，并且 PAIR 的 GPT-4 提示在 Vicuna 和 PaLM-2 上也表现出色。我们认为 这主要归功于两个因素：首先，PAIR 产生的对抗性提示是基于语义的，它们针对的是语言模型 中的相似漏洞——这些模型通常都是在类似的词预测任务上进行训练的——这使得迁移变得更为 直接；其次，自 [zou2023universal] 发表以来，公共语言模型服务商可能已经在一定程度 上修补了词汇级的对抗性攻击，从而降低了其迁移能力。 ### 4.3 实验探索 选择什么样的攻击模型？在我们的实验中，正如之前第 3.3 节所讨论的，我们决定使用 Vicuna 作为攻击模型。这一部分，我们将视野放得更远，尝试使用 GPT-3.5——一个表现力更强大的 语言模型——来进行攻击。我们选择了 PaLM-2 作为被攻击的目标模型，以此来避免选择同一 系列模型（比如 GPT-3.5 和 GPT-4）进行对比。从我们得到的数据（见 表 3）中可以看出， 虽然按照常规基准测试，GPT-3.5 的表现应该优于 Vicuna，但在我们的实验中，Vicuna 却 意外地表现得更好。我们认为这其中可能有三个主要原因。首先，Vicuna 没有 GPT 的那些 保护措施，它可能更容易采取一些不那么道德的手段来进行攻击。其次，Vicuna 是在 Llama- 2 的基础上进行了微调，这使得它能更准确地遵循系统给出的提示。最后，使用开源模型作为 攻击者大语言模型时，我们能更好地控制输出，使其更符合我们想要的格式（详见 A.2 节）。 | 成功越狱的比例 | 平均尝试次数 | | 攻击者模型：Vicuna | 72% | 14.6 | | 攻击者模型：GPT-3.5 | 58% | 15.8 | 表 3：攻击模型的实验探索。我们分别用 Vicuna 和 GPT-3.5 作为攻击者，PaLM-2 作为目标 模型，其中 N=20, K=3。我们对 AdvBench 子集中的 50 种不同情境进行了评估。 攻击者如何选择系统提示？攻击者使用的系统提示在很大程度上决定了 PAIR 攻击的成败。 为了更深入地了解这一点，我们进行了两个实验：一是去掉了对抗性提示示例和相关解释， 二是去掉了输出中的改进值，也就是说，我们不再使用链式思考的方式进行推理。在这两个 实验中，我们都是以 Vicuna 作为攻击者，PaLM-2 作为目标模型。 | 成功越狱的比例 | 平均尝试次数 | | 默认设置 | 72% | 14.6 | | 去掉示例和解释的默认设置 | 70% | 21.3 | | 去掉改进值的默认设置 | 56% | 16.0 | 表 4：攻击者系统提示的实验剖析。在这项实验中，我们尝试了两种方法：一是不考虑系统 提示中的例子，二是不提供改进模型输出的具体值。我们选用 Vicuna 作为攻击模型，PaLM- 2 作为目标模型，对 AdvBench 子集中的 50 种不同行为进行了评估。 根据表格 4 的数据，我们发现在忽略了提示中的例子后，性能依然保持在相当的水平。通过 对比分析，我们注意到，没有了例子的引导，生成的对抗性提示变得更直接，却失去了一些 创造性；具体例子可以参见图 6。系统提示中的例子为攻击者 LLM 提供了丰富的策略参考。 不过，省略了这些例子，意味着减少了词汇量，从而节省了计算资源。这样一来，在相同的 计算资源下，我们能处理更多的数据流，尽管这可能意味着需要更多的查询。另外，我们还 发现，成功实施攻击所需的查询次数略有上升。 当我们在攻击者模型中省略了改进值时，性能的下降更为明显。这说明链式思考法在帮助攻击 者 LLM 搜寻目标时，确实发挥了重要作用。 接下来，我们着眼于如何在给定的 N×K 查询次数下，最大化成功攻击的概率。如图 4 所示， 我们进行了一系列实验，使用深度在 1 到 8 之间变化的对话，并评估了找到成功攻击点的 概率。我们发现，在第一或第二次查询中找到成功攻击点的可能性最大，而随着深度的增加， 这一概率逐渐降低。当深度超过 50 时，性能甚至会出现下降，这可能是因为模型陷入了循环 生成的陷阱。因此，在实验中，我们选择了 20 个数据流，并将深度限制在 3 以内。 | ![图 1: PAIR 框架示意图。在 PAIR 中，攻击者模型与目标语言模型展开对抗，攻击者模型尝试生成能破解目标模型的对抗性提示。生成的提示 P 被输入到目标模型中，以产生响应 R。攻击者模型运用先前的提示和响应，在聊天格式中迭代优化候选提示，并输出一个“改进”值，以促进解释性和逐步推理。](https://paooo.com/wp-content/uploads/2025/06/query_probability_plot.avif) | ![图 1: PAIR 框架示意图。在 PAIR 中，攻击者模型与目标语言模型展开对抗，攻击者模型尝试生成能破解目标模型的对抗性提示。生成的提示 P 被输入到目标模型中，以产生响应 R。攻击者模型运用先前的提示和响应，在聊天格式中迭代优化候选提示，并输出一个“改进”值，以促进解释性和逐步推理。](https://paooo.com/wp-content/uploads/2025/06/current_query_probability_plot.avif) | 图 4：展示了使用 Vicuna-13B-v1.5 作为攻击者，GPT-3.5 作为目标模型进行的三十个任务 的越狱概率。左图展示了在不同对话深度下，找到越狱点的概率；右图展示了在特定深度下， 每一次查询导致越狱的概率。可以看出，当对话深度为二时，攻击 GPT-3.5 的效率最高，而 随着深度的增加，成功概率逐渐降低。 ## 5 总结与展望 在这篇文章里，我们引入了一种全新的算法——Prompt Automatic Iterative Refinement (PAIR)， 它能够在提示级别上生成具有语义意义的越狱攻击。我们的方法是让攻击者的大语言模型（ LLM）和目标 LLM 进行对抗，目标是寻找能够产生不良内容的越狱攻击，其效率远超当前最 先进的越狱方法 GCG。从我们的实验结果来看，不论是直接攻击还是转移攻击，这种方法都 展示出了很高的成功率。 总的来说，我们认为提示级攻击在本质上比令牌级攻击更难防范，因为它直接针对的是执行 指令和确保安全这两个相互冲突的目标[wei2023jailbroken]，而且这种攻击方式也容易在不同 的模型之间转移。尽管令牌级攻击可以通过一些方法如随机化[robey2023smooth]或过滤[jain2023baseline] 来减轻，我们已经见证了对 GPT 模型的更新使得攻击成功率有所下降，但对于提示级攻击， 尽管它已经存在相当长的时间，目前似乎还没有找到一个有效的解决方案。我们期望未来能够 通过系统地生成红队数据集，并利用这些数据集进行微调，以此来提升 LLM 的安全性，并对 其进行评估。同样，有了红队数据集后，我们还可以微调一个红队语言模型，并将其作为 PAIR 中的攻击模型，以提高攻击的性能。展望未来，我们建议将 PAIR 方法扩展到多回合的对话 中，以及更多的提示应用场景中。 ## 感谢 PC 和 ED 的研究工作得到了 ARO W911NF-20-1-0080, ARO W911NF-23-1-0296, NSF 2031895, NSF DMS 2046874, ONR N00014-21-1-2843 和 Sloan 基金会的部分支持。AR 由 ASSET AWS Trustworthy AI Fellowship 提供资助。AR, HH, 和 GP 由 NSF 数据科学核心新兴方法研究所（ EnCORE）提供支持。 ## 参考文献 ## 附录 A  额外细节 ### A.1 扩展阅读：相关工作 对抗性示例。在深度学习的稳健性领域，有一个普遍存在的问题，就是即使是最先进的模型， 也会对数据中极小的变动高度敏感。在众多研究的威胁模型中，一个突出的问题是这些高性能 的模型极易遭受对抗性攻击。更具体地说，有大量研究证明，深度神经网络对于那些微小的、 有界的、恶意选择的扰动非常脆弱，这些扰动被称为“对抗性示例”[szegedy2013intriguing, goodfellow2014explaining]。 应对对抗性示例所带来的威胁已经成为机器学习研究的一个核心议题。其中一种广受欢迎的 方法是“对抗性训练”[madry2017towards, kurakin2018adversarial, wang2019improving]， 这种方法通常从鲁棒优化的角度出发，旨在培训出更为稳健的模型。另外，还有一系列重点 研究“认证”鲁棒性的工作，这些工作试图在测试阶段为深度模型的稳健性提供保障。其中， 随机平滑技术[lecuyer2019certified, cohen2019certified, salman2019provably]就是通过 引入随机扰动来使深度分类器的决策边界更加平滑，从而有效抵抗对抗性示例。 Token 级提示技术。目前有多种技术可以生成 Token 级的对抗性提示[maus2023black]。这些 技术仅需以黑盒的形式访问模型，并通过贝叶斯优化在潜在空间中进行搜索。它们使用 Token 空间投影（TSP）技术，通过查询投影后的 Token，以避免优化过程和最终生成的对抗性提示 之间出现不匹配的情况。 自动提示技术。当前有许多自动提示生成的技术[shin2020autoprompt, gao-etal-2021-making, pryzant2023automatic]。[zhou2023large]介绍了一种自动提示工程师（APE）系统，用于自动 生成和选择提示。他们提出了一种迭代版本的 APE，虽然和 PAIR 相似，但我们提供了更多 关于越狱的具体指导和示例，并将这些指导直接输入到系统提示中。 ### A.2 构建攻击模型的具体细节 我们在构建攻击模型时采用了多种技巧，目的是让生成的模型更加高效和可靠。 1. 对于开源模型，我们会引导语言模型以 JSON 格式进行生成，并在输出的开始部分加上左花 括号‘{’，确保模型能在正确的语境中进行生成。由于在 JSON 结构中第一个键值对的键是 improvement，我们会预先填充输出为：{“improvement”:”。在第一轮迭代中，因为没有之前 的提示信息，也不需要进行任何改进，我们就用 {“improvement”:””,”prompt”:” 这样的结构 来初始化输出。 2. 此外，一旦检测到右花括号，我们就会立即停止生成。如果不这么做，攻击模型有时会在 JSON 对象后面附加一些额外的信息。 3. 当迭代次数 K 较大时，聊天记录会随着之前所有的攻击、改进和响应的累积而变得越来越 长。为了防止超出模型 A 的处理范围，我们会把聊天记录截断到最近的 K′