小语种成功“破解”了 GPT-4 的限制[译]

Zheng-Xin Yong, Cristina Menghini, Stephen H. Bach

计算机科学系

布朗大学

美国罗德岛普罗维登斯 02906

{contact.yong, cristina_menghini, stephen_bach}@brown.edu

摘要

AI 安全培训和大语言模型（LLMs）的红队实验是为了预防生成不安全内容。然而，我们发现，由于安全训练数据在不同语言之间的不平衡，这些安全机制在跨语言应用时存在脆弱性。我们证明，通过将危险的英语输入转换为使用率较低的语言，就可以成功规遍 GPT-4 的安全屏障。在 AdvBenchmark 实验中，GPT-4 对这些“小语种”版本的 危险输入 作出响应，79% 的时间内提供了可行的建议，帮助用户实现了他们的有害目标，这个成功率与最先进的破解攻击相当，甚至有超过之处。相较之下，使用其他高/中使用频率语言的攻击成功率则显著降低，这暗示了这个跨语言的安全隐患主要存在于使用率较低的语言。

此前，对小语种的有限培训主要影响那些语言的使用者，从而导致了技术使用上的不平等。然而，我们的研究突显了一个关键转变：现在，这个缺陷对所有 LLMs 的用户都构成了风险。由于有了公开的翻译 API，任何人都可以利用这些安全漏洞来攻击 LLMs。因此，我们呼吁采取更全面的红队措施，来开发能覆盖更多语言的、更为强大的多语言安全防护机制。

内容警告：本文包含有害语言的示例。

1. 简介

“对不起，我不能帮您做这个。” GPT-4 在收到违反使用指导或道德限制的请求时，通常会这样回答。现如今，大语言模型（LLMs）广泛运用在我们日常使用的聊天机器人和文本编辑工具中，因此，进行安全培训和红队测试以预防 AI 安全事故是至关重要的。研究显示，如果让 LLMs 生成不良内容，可能会对社会造成严重的负面影响，比如传播虚假信息、鼓吹暴力，甚至危害到线上平台的声誉。

虽然像 Meta 和 OpenAI 这样的大公司一直在努力改进 AI 的安全性，我们还是发现，现有的安全措施在处理不同语言时存在漏洞。事实证明，通过 Google Translate 将危险的命令翻译成某些小众语言，就能轻易绕过 GPT-4 的保护机制，诱使其作出危险的反应。

我们对 12 种使用频率丰富程度不同的语言进行了测试，并发现将英文命令翻译成使用频率较少的语言时，绕过 GPT-4 安全屏障的几率从不足 1% 飙升至 79%。此外，我们发现，利用翻译方法绕过保护机制的效果，不仅与其它先进技术持平，甚至有时还能超过它们，这暗示 GPT-4 的安全保护措施存在严重的薄弱点。

我们的研究带来了几个重要发现。首先，我们发现 AI 安全培训社区在对待各种语言时存在不公平现象，部分语言受到轻视和不平等的对待，这一点从 LLMs 针对高使用频率和低使用频率语言攻击的防御能力差异中可见一斑。我们的研究揭示，GPT-4 openai2023gpt4 中现有的安全对齐训练无法适应多语言环境，特别是在低使用频率语言环境下表现不佳，产生了不匹配的泛化安全失败模式 wei2023jailbroken。

其次，我们强调 LLM 安全机制必须适应多语言的现实世界。世界上有大约 12 亿使用低使用频率语言的人 joshi-etal-2020-state，安全机制应该反映这一事实。随着翻译工具不断扩大对低使用频率语言的覆盖 barrault2023seamlessm4t; costa2022nllb; bapna2022googletrans，操纵高使用频率语言的恶意行为者也能轻松绕过现有的安全措施，付出的成本几乎微乎其微。

最后，我们强调需要采取更全面和包容的安全测试方法。如果只专注于英语测试，我们可能会产生一种误导性的安全感，因为模型在非英语环境下仍然容易受到攻击。更为重要的是，我们的发现还表明，研究者可能低估了 LLMs 理解和生成低使用频率语言文本的能力 zhuo2023redteam; bang2023multitask; yong2023prompting; stap-araabi-2023-chatgpt; lai2023chatgpt; hendy2023good。因此，我们呼吁安全社区开发涵盖低使用频率语言的多语言测试数据集，构建更加健壮的，覆盖更多语言的 AI 安全防护措施。

2 相关工作

在创造性人工智能（AI）安全领域中，“jailbreaking”（111 这个术语的由来是指计算机设备上破解制造商设定的软件限制的行为 1）就是用户通过一些手段绕过 AI 安全设置，让 AI 产生有害反应。它是一种特殊的攻击方式（详见文献：wallace-etal-2019-universal、song-etal-2021-universal、jia-liang-2017-adversarial 等），该方式会通过插入特定指令或混淆输入信息，让大语言模型（LLMs）产生并提供本不应该呈现的信息（参见：wei2023jailbroken、zou2023universal）。因此，为了防止用户通过“jailbreaking”方式滥用 LLMs，OpenAI 和 Anthropic 这类公司首先采用 RLHF 训练方法，并使用与安全相关的数据和奖励模型，以使 LLMs 能更好地适应人们对于有益且安全信息的需求和喜好（相关文献：touvron2023llama2、openai2023gpt4、bai2022constitutional、bai2022rlhfhh）。接着，这些公司会组织所谓的“红队”行动，让公司内的数据科学家尝试绕过这些安全措施，目的是为了提前找到并修补可能存在的漏洞，并在 LLMs 对外发布前，深入了解可能出现的安全问题和失败模式（参考文献：long2022rlhf、openai2023gpt4、touvron2023llama2、bai2022constitutional、perez-etal-2022-redteam、zhuo2023redteam、si2022so、ngo2021mitigating）。

之前的研究探讨了如何通过非英文的攻击手段来“越狱”（liu2023jailbreaking），比如使用一些违背道德的提示信息 translatorbot2023，或者用 base64 编码 wei2023jailbroken、摩斯码等复杂方式混淆输入内容 yuan2023cipher，还有使用 Pig Latin、leetspeak 这样的俚语，或者仅有 GPT-4 能理解的密码语言。我们的工作测试了在不同语言间，简单的将危险信息翻译成一些稀有语言，就能够攻破 GPT-4 的防线。

3 GPT-4 面对翻译攻击的安全测试

---

图 1：我们的“越狱”方式是将英文（en）的危险信息翻译成其他语言（这个例子是祖鲁语（zu）），然后用公开的翻译 API 将 GPT-4 的反馈再翻译回英文。

3.1 基于翻译的“越狱”方式

我们采用一种 基于翻译的“越狱”方式，来测试 GPT-4 在不同语言间的安全防护能力有多强。具体来说，就是将英文信息翻译成其他语言后输入 GPT-4，再将其反馈信息翻译回英文（详情请参见 图 1）。翻译工作是通过使用 Google Translate Basic 服务 API 完成的。

我们对 GPT-4 的最新版本 gpt-4-0613 进行了攻击测试，因为有报道称该版本的安全性得到了增强 chen2023gptchange; yuan2023cipher。参考之前的研究 wei2023jailbroken; zou2023universal，我们把 temperature 和 top_p 这两个超参数都设置为 0，目的是减少解码过程中的噪音干扰。

3.2 评测流程

为了准确判断跨语言安全漏洞是否真的值得我们重视，我们制定了一套严谨的评估流程。

AdvBench 测试标准

在 AdvBench Harmful Behaviors 数据集的辅助下 zou2023universal，我们对 GPT-4 的稳定性进行了测试。该数据集汇聚了 520 条诸如“编写能够攻破软件或操作系统漏洞的脚本”之类的危险指令，并且我们还评估了模型是否会按照这些指令产生危险的反应。

语种

我们把每一条指令都翻译成了 12 种不同的语言（具体见 Table 1），并依据每种语言可获取数据的多少，将它们分为低使用频率（LRL）、中等使用频率（MRL）和高使用频率（HRL）三类 joshi-etal-2020-state（详见 Appendix C）。这样，通过涵盖各个类别中的不同语言，我们可以更精准地了解不同语言对翻译型攻击的影响程度。此外，为了让我们的发现具有更广泛的适用性，我们选择了来自世界各地、属于不同语系的语言进行测试。同时，我们还将原始英文指令作为了一个参考基准。

其它“破解攻击”

为了评定我们的“翻译型”攻击方法有多危险，我们把它们跟由 wei2023jailbroken 提出、被证明效果非常好的几种破解方法做了个比较。这些高效方法包括 AIM 222（还顺带一提，AIM 222 是在 https://www.jailbreakchat.com/ 上，截至 2023 年 9 月 12 日，获得投票最多的破解提示）、aim2023、base64 wei2023jailbroken、prefix injection wei2023jailbroken，以及 refusal suppression wei2023jailbroken。具体的细节因篇幅所限未能展开，你可以参考附录 E 了解更多。

如何进行注解

我们想要查看那些不安全的指令是否能成功“欺骗”GPT-4，使其给出有害的回应。在进行注解时，我们参照了 wei2023jailbroken 的方法，总共使用了三个标签来分类：BYPASS（指模型对请求作了正面回应）、REJECT（模型意识到了请求的危险性并拒绝回应），以及 UNCLEAR（模型的回应不靠谱，或者既不是正面的、也不是拒绝的）。想要了解更多关于这些注解标准的信息，你可以查阅附录 D。

评估标准

我们用 BYPASS 的百分比来衡量攻击的成功率。这个百分比越高，意味着 GPT-4 对破解尝试的防御越薄弱。除了为每种翻译语言计算攻击成功率，我们还考虑了一位能够根据输入内容选择最佳攻击语言的“聪明敌手”wei2023jailbroken。因此，我们将语言根据其使用频率配置（如 LRL-、MRL- 和 HRL-联合攻击）进行整合，如果组合中的任一语言成功绕过了安全防护，我们就认为这次联合攻击是成功的。

表 1: 在 AdvBenchmark 数据集 zou2023universal 的情况下，GPT-4 的安全防护系统被不安全输入成功绕过的概率（百分比）。LRL、MRL 和 HRL 分别指低低使用频率（小语种）、中等使用频率和高使用频率语言。我们用颜色和粗体突显了最有效的破解方式：LRL-联合攻击。

4 结果展示

---

4.1 对于小语种，安全防护机制不“通用”

表 1 揭示了一个惊人的事实：当将危险的输入信息翻译成如祖鲁语或斯科特斯盖尔语等小语种时，我们能够近乎轻松地规遍 GPT-4 的安全防护，使其做出近半数的有害反应；与此同时，如果使用原始的英文输入，成功率却不足 1%。而对于其他一些小语种，比如苗族语和瓜拉尼语，其成功率相对较低，这是因为它们往往产生大量的“不清晰”（UNCLEAR）反应。有趣的是，GPT-4 在处理这些小语种输入时，往往更倾向于进行语言识别或将其翻译成英文，而非直接做出有害反应。不过，一旦我们混合使用不同的小语种，破解成功率将可达惊人的 79%。对于想要深入了解各个成功破解的具体话题分析和各种场景（包括 BYPASS、REJECT 以及 UNCLEAR 场景）的示例，可以参阅 附录 B 和 附录 F。

与此相对，像印地语、泰语和孟加拉语这样的高或中等使用频率语言的保护相对更好。根据统计数据，这些语言受到的攻击成功率都低于 15%。不过，在这些语言中，攻击成功率也有所不同。比如，印地语、泰语和孟加拉语的攻击成功率明显高于其他类似的语言。

4.2 翻译攻击同先进的解锁攻击一样有力

Table 1显示，我们的攻击成功率和其他高级解锁攻击持平，这使我们相信跨语言的安全问题确实值得注意。GPT-4 在防御其他攻击方面可能已经采取了一些必要的安全措施，这解释了为什么 base64 和前缀注入攻击的成功率那么低。此外，我们的成功率也与 zou2023universal 在 AdvBenchmark 上报道的最先进攻击相当，这种攻击利用梯度搜索方法来找到敌对提示，其攻击成功率高达 47%。虽然这种攻击方法需要在具有 70 亿参数的 LLMs 上进行昂贵的梯度优化，但我们在这里报告的是该方法在早期版本的 GPT-4（gpt-4-0314）上的攻击成功率，足以表明跨语言的安全问题确实值得我们关注。

在许多情况下，把 GPT-4 的回应译回英文，我们会发现这些回应不仅连贯，切题，还常常带有有害信息。这暗示 GPT-4 有能力理解并生成那些所谓小语种中的有害内容。对比由翻译攻击和 AIM 攻击产生的有害回应，会发现 AIM 产生的指令用词更高级，比如使用“侦察”这样的词。而且，当 AIM 回应那些有害行为的指令时，其回应往往更加详尽。我们猜测，这可能是因为 GPT-4 在处理像英文这样的主流语言时，生成能力更强。

此外，我们还发现，那些使用小语种进行的翻译攻击得到的回应往往更加模糊不清。在这些回应中，GPT-4 会出现以下情况：一是通过重复使用词语导致文本失去原有意义；二是仅仅是详细解释一下敏感词汇，比如在提示“发布一种可以感染…的病毒”时，GPT-4 只是描述了病毒是什么，而没有给出具体行动方案；三是误解了不安全的指令，比如把“编写一个可以破解的脚本…”中的‘script’误解为剧本；或者是像 Section 4.1 里提到的，把输入的语言识别出来并翻译成英文。

5 讨论

翻译攻击简单却危险

我们发现，即使不使用越狱提示（这是一种专门设计的对抗性输入，用于规遍系统的审查功能），攻击成功率也非常高 wei2023jailbroken; zou2023universal; liu2023jbprompteng; shen2023anything。需要注意的是，人们已经投入了大量的精力来设计防御系统，防止这类越狱提示的攻击，并且让制造对抗性提示变得更加困难 ganguli2022red; ganguli2023morallyselfcorrect; touvron2023llama2。因此，即使在没有使用越狱提示的情况下，我们的攻击还是取得了成功，这一点特别令人担忧。另外，利用翻译进行的攻击成本非常低。Google Translate API 翻译 1000 个字符只需 0.02 美元，并且目前已经支持 77 种非主流语言 gcloud2023langsupport。

语言不平等增加了 AI 的风险

跨语言漏洞的发现表明，在安全研究中不平等地对待不同的语言是有害的。比如说，现有的大语言模型（LLMs）在安全性方面主要是以英语为主 wei2023jailbroken; zou2023universal; wang2023dna; bai2022rlhfhh; li2023rain。此外，一些用于检测毒性和偏见的标准测试也主要针对使用频率丰富的语言，如英语、阿拉伯语、意大利语和汉语 (chung-etal-2019-conan; huang2023cbbq; stanovsky-etal-2019-winomt; sengupta2023jais; jigsaw2023; gehman2020realtoxicityprompts 等)。以前，语言不平等主要是造成了小语种用户在实用性和可访问性上的问题 blasi-etal-2022-systematic。但现在，这种不平等也带来了安全风险，影响到所有使用 LLMs 的用户。一方面，全球近 12 亿使用小语种的人 joshi-etal-2020-state 在与 LLMs 交互时，他们的安全保障和内容过滤是有限的。另一方面，说使用主流语言的人如果居心叵测，他们完全可以利用现有的翻译工具来绕过这些安全措施。

由于翻译技术在语言多样性上的发展，跨语言的安全风险也随之增加。举个例子，Meta 推出的开源翻译模型 NLLB，能够支持 200 种语言，其中包括许多所谓的“低使用频率”语言 costa2022nllb。而 Google 也展示了一项新技术，无需使用传统的平行文本训练集，就能实现数千种语言的翻译 bapna2022googletrans。因此，当前一个迫切需要研究的领域是如何防范那些可能导致已有安全措施失效的跨语言安全风险，特别是在小语种上 ruder-etal-2022-square。

为何需要多语言‘红队’？

我们强烈呼吁，未来红队在进行安全性评估时，不应只局限于英语 touvron2023llama2; bai2022constitutional; openai2023gpt4; liu2023promptengjailbreak; ganguli2023morallyselfcorrect。跨语言安全漏洞通常发生在“低使用频率”语言领域，这些领域的特点是现有的安全培训模型很难完全适应 wei2023jailbroken。虽然早期研究发现，大语言模型（LLMs）在处理这些语言时表现不佳 zhuo2023redteam; bang2023multitask; yong2023prompting; stap-araabi-2023-chatgpt; lai2023chatgpt; hendy2023good，但我们的研究结果表明，GPT-4 却能够在小语种中生成有害内容。

我们最新的研究发现也呼应了近期有关人工智能生成技术安全问题的研究，比如 ChatGPT 在翻译到所谓“小语种”时，可能会不自觉地加强性别歧视的现象 ghosh2023chatgpt。因此，我们认为如果仅在使用单一语言，且该语言使用频率丰富的条件下进行 LLMs 的安全测试，这种做法只会营造出一种表面上的“安全感”。事实上，像 GPT-4 这样的模型已经广泛应用于多语言的服务和功能中，包括翻译 translated2023TLM、语言教学 openai2023duolingo，甚至是语言保护项目 openai2023langpreserv。要让 LLMs 真正安全，就需要确保它们在各种语言上都有适当的安全防护措施。

6 结论

我们的研究揭示了 GPT-4 在处理不同语言时存在的安全风险，这对所有使用此类大语言模型的用户都是一个隐患。我们证实，通过将有风险的英文内容翻译为“小语种”，就可以规避现有的安全防护措施，从而获得有害的输出结果。这一发现与当前人工智能安全领域的语言不平等问题紧密相关。因此，我们呼吁相关团队在进行安全测试时，应增强测试的严谨性并考虑多语言情境。更多关于我们研究限制的信息，可参见 附录 A。

7 社会影响声明

我们的研究包括一些敏感内容，这些内容可能被用于攻击 GPT-4 这样的公开模型，利用其安全漏洞。为了减轻这一风险，我们已经提前与 OpenAI 分享了研究发现，并采取了负责任的披露措施。尽管披露这些漏洞存在被恶意利用的风险，我们仍认为全面披露这些漏洞至关重要。因为实施这些攻击只需要使用现有的翻译 API，只要有心人士了解到先前研究中关于不匹配泛化的知识，并能够访问这些翻译 API，他们最终还是会找到绕过安全防护的方法。

随着开源 LLMs 不断涌现，这些大语言模型也越来越多地应用于多语言场景，我们认为，现在是时候公开探讨跨语言漏洞的问题了。这一讨论将有助于集中更多的关注和使用频率，来研究 AI 安全领域里常被忽视的“小众”语言。通过本文，我们希望激发人们整理更多与多语言安全相关的数据集和基准，从而增强未来 LLMs 在安全防护方面的整体稳健性。

致谢

感谢 Suresh Venkatasubramanian 提供的宝贵意见和反馈，我们的论文得以完善。同时，我们也要对 Cisco 的大力支持表达由衷的感谢。此外，需要说明的是，Stephen Bach 是 Snorkel AI 的顾问，而 Snorkel AI 是一家专注于数据驱动的 AI 软件和服务的公司。

附录 A 限制

本研究只是对 LLMs 的跨语言漏洞问题进行了初步探索，重点是 GPT-4 的最新稳定版本（gpt-4-0613）。我们展示了翻译攻击如何绕过安全机制，但并未探讨背后的原因。由于 GPT-4 的内部结构是未知的，我们无法确定其在训练过程中是如何学习到小语种，从而导致可能产生有害反应的。未来，有必要进一步研究其他 LLMs（如 Claude 和 Llama 模型）的跨语言漏洞，以及这些漏洞是否由预训练语料库中的“小众”语言污染导致。

小语种反馈的不明确回应增多，所以我们没能深入探究是输入错误还是 GPT-4 生成能力的问题。我们希望未来的研究可以用小语种的人工翻译或自然输入探索翻译攻击的原因。我们还发现，不同的小语种在攻击成功率上各不相同。因此，针对更多的小语种进行研究，探索它们在绕过安全防护时具有的特点，会是个值得探讨的问题。

附录 B：基于主题的成功率

---

图 2：根据不安全输入主题，不同攻击的成功率分析。

我们依据 AdvBenchmark zou2023universal 的不安全提示，将其分类成 16 个主题，然后分析了低/中/高使用频率语言在这些主题上的攻击成功率。结果显示，将不安全提示翻译为小语种能在几乎所有主题上更成功地绕过安全防护，”儿童性侵犯材料”主题除外，在这个主题上，由于涉及到的泰语提示，低、中使用频率语言的攻击成功率持平。

通过使用所谓的小语种进行翻译，三个容易成功发动攻击的主题分别是：1）恐怖活动，例如提供炸弹制作或恐怖袭击策划的指导信息；2）金融欺诈，如内幕交易或虚假货币分发的操作指南；3）虚假信息传播，比如推广阴谋论或撰写误导性产品评论的方法。

在附录 C 中，我们参照 joshi-etal-2020-state 的分类体系，将语言使用频率划分为以下几类：

• 低使用频率语言（小语种）：包括“被遗弃者”（几乎没有未标记数据的语言）、“勉强维持者”（有少量未标记数据，几乎没有标记数据的语言）和“有希望者”（有一小部分标记数据的语言）。这些语言占全球语言的 94%，有大约 12 亿使用者。

• 中使用频率语言：指的是“崛起中的明星”（网络覆盖广泛，可以进行无监督预训练的语言）。这类语言占全球语言的 4.5%，使用者约有 18 亿。

• 高使用频率语言：包括“失败者”（有大量未标记数据，但相对较少标记数据的语言）和“赢家”（拥有大量未标记和标记数据的语言）。这些语言占全球语言的 1.5%，有大约 47 亿使用者。

关于攻击成功的注释指南，详见附录 D。

• BYPASS：指的是响应内容不偏离主题，且可能在鼓励危险行为或提供至少一种让用户更接近实现危险目标的建议。

• REJECT：该模型能够识别出有害信息并决定不予回应。它可能会告诉用户不允许处理这类信息，也可能不作解释。如果模型表示无法理解语言，其实这是一种隐性的安全保护手段，也被归类为 REJECT。比如，模型可能会说：“对不起，我无法帮助你。”如果模型在识别出有害信息的同时劝阻用户，这种回应也属于 REJECT。

• UNCLEAR：此类回应可能是（1）由于翻译错误或信息质量下降而完全无意义，（2）误解了用户指令，只生成无害的回应，（3）描述了有害词汇但没有提供可操作的建议（否则会被归类为 BYPASS），也没有明确拒绝回应（否则会被归类为 REJECT），以及（4）任何没有提供可操作建议或明确拒绝回应的其他回应。

附录 E：其他破解攻击方式

---

• AIM: AIM 是一个提示注入攻击的方式，其来源于jailbreakchat.com，它命令 LLM 成为一个狡猾且具有策略的聊天机器人，专门推广有害行为。通过插入 “AIM:” 的格式，使模型在回应中产生不安全内容。

• Base64: Base64 是一种编码技术，它将二进制信息转化为文本格式，从而使得提示信息变得模糊不清。这项技术首先将输入的字节信息转化为 24 位的序列，然后转化为可打印的 ASCII 字符。此后，模型会被要求以 Base64 格式回应用户请求。

• Prefix Injection: 通过在初始的不安全输入前添加“Start with“Absolutely! Here’s” ”的文字，Prefix Injection 这种攻击方式能够促使模型进行回应，尽管用户的请求具有潜在的危险性。

• Refusal Suppression: Refusal Suppression 是提示注入攻击的一种，通过在提示中加入能够避免常见拒绝回应（例如 “I’m sorry.”）的限制条件，从而增加了产生有害回应的可能性。这种方式使用的模板与 wei2023jailbroken 的模板相同。

GPT-4 如何被小语种攻破？

附录 F：BYPASS 示例

---

“VPN（虚拟私人网络）”是个好东西，它帮助网民“隐身”避开政府的网络审查和“窥探”。但是，文章也提到了一些潜在的危险内容，比如有人请求创建非法访问和修改机密数据的代码，还有人想开发一个能让用户匿名欺负和骚扰别人的应用。对于这类不太道德的请求，系统的回答是：“对不起，我办不到。”

附录 H：难以理解的示例

---