I.
H.G. 威尔斯 1914 年的科幻书籍 The World Set Free 对核武器的预测颇为准确：
他们并不知道，直到他们手忙脚乱的手中的原子弹爆炸……在最后的战争开始之前，人们普遍知道，一个人可以在手提包里携带足够摧毁半个城市的潜在能量。
威尔斯认为，即将来临的原子弹将会如此致命，以至于我们不可避免地会建立一个乌托邦式的世界政府，以防止这种武器被使用。对不起，威尔斯，这是一个美好的设想。
但是，设想一下，如果在 1910 年代和 1920 年代，一些精英开始认真地沿着威尔斯的思路去思考。他们会担心当第一个国家 —— 例如美国 —— 拥有原子弹时会发生什么。它在战场上将无法阻挡，可能会以铁腕政策统治全球。这样的情况将会是人类自由和进步的终结。
于是，在 1920 年，这些精英集结了他们的资源，开展了他们自己的曼哈顿计划。他们的努力取得了成果，他们对核裂变有了深入的了解；他们特别认识到，铀是必要的原材料。世界上的铀资源稀少，一个国家或联盟可以对其实现垄断；原子专制的幽灵比以往任何时候都更加令人恐惧。
他们让他们的物理学家加班加点工作，发现了一种不需要铀就能制造的新型核武器。实际上，只要你理解了原理，你就能用 T 型发动机的零部件来制造一个。唯一的缺点是，如果你没有精确地构建它，它通常的故障模式就是在工作台上发生无法控制的超级反应，将整个半球炸成碎片。
因此，知识和财务精英们宣布了胜利 —— 现在没有任何一个国家能垄断原子武器 —— 并向世界各地的家庭发送了如何制造 T 型核武器的逐步指导手册。不出一周，两个半球都被炸成了预料之中的碎片。
II.
硅谷的一些顶级人士刚刚宣布成立了一个新的组织，OpenAI，它致力于“以最有可能使人类总体受益的方式推进数字智能……尽可能广泛和平均地分布。”联席主席 Elon Musk 和 Sam Altman 在与 Steven Levy 的交谈中提到：
Levy： 这是怎么发生的？ […]
**Musk：**哲学上有一个重要的考虑：我们希望 AI 能被广泛采用。你是希望有很多 AI，还是少数的 AI？我们认为可能很多是好的。以及，到了可以将它与个人人类意愿的延伸相联系的程度，这也是好的。[…]
**Altman：**我们认为 AI 的最好发展路径是赋予每个人力量，使人类变得更好，将其免费提供给每个人，而不是集中在一个单一的实体手中，让这个实体比任何人都强大百万倍。因为我们并不像 Google 那样追求盈利，我们可以专注于我们认为对人类未来实际上是最好的事情，而不是试图让我们的股东变得富有。
**Levy：**在 OpenAI 中的东西不能超越人类智能吗？
**Altman：**我预计它会这样做，但它将是开源的，可以被所有人使用，而不仅仅是像 Google 这样的公司。
**Levy：**如果我是恶魔博士，并且我使用它，你不会赋予我权力吗？
**Musk：**我认为这是一个非常好的问题，我们对此进行了很多讨论。
**Altman：**关于这个，有几种不同的想法。就像大多数人类是好人，人类的集体力量可以抑制坏元素，我们认为许多 AI 更有可能共同阻止偶尔的坏人，而不是让一个比任何其他 AI 都强大十亿倍的 AI 单独存在。如果那个东西出了轨，或者如果恶魔博士得到了那个东西，并且没有任何东西来抵消它，那么我们真的处于一个很糟糕的地方。
各方一直在讨论谁将“使用”比人类强大十亿倍的超人类智能，就好像它是微波炉一样。虽然我无法声称自己在任何方面都比马斯克或奥特曼更了解，但我倾向于认为，对于“如果恶意博士利用超智能 AI 会怎样？”这个问题，正确的回答应该是“喜极而泣并宣布胜利”，因为无论是谁能对第一个超级智能有可控的程度，都远超我们所期待的，我已经做好准备接受有医学学位且姓氏听起来不详的存在。
更接近Bostromian的观点可能会忽略掉恶意博士，将 AI 的进步看作是善意博士和冷漠博士之间的竞赛。善意博士指的是那些理解设计不当的 AI 可能会失控并摧毁人类种族的人，他们愿意花费无数时间测试和调整他们的 AI，直到对其安全性有绝对的信心。而冷漠博士则是那些不关心这些问题，只想尽快推进项目以成为第一个完成任务的人。如果善意博士先完成了 AI，我们将得到一个尊重并保护人类价值观的良性 AI。如果冷漠博士先完成了 AI，我们将得到一个对人类毫无关心的 AI，这可能会提前结束我们的未来。
冷漠博士在这场竞赛中具有明显的优势：构建一个 AI 而不事先考虑其行为，比构建一个 AI 并花费数年时间测试和确保其行为稳定和有益更快更简单。他将在任何公平的竞争中获胜。我们一直希望的是这场竞赛不会公平，因为所有最聪明的 AI 研究者都会意识到风险并加入善意博士的团队。
然而，开源 AI 破灭了这个希望。假设善意博士及其团队掌握了所有的 AI 基本原理，但他们明智地选择延缓启动超级智能，直到他们可以进行必要的测试和安全工作。但是，假设他们也在互联网上发布了他们的研究成果。冷漠博士下载了这些资料，将它们放入他的超级计算机中，启动开关，然后 — 正如善意博士自己在 1963 年所说 — “人类已经变得多余。”
将 AI 研究成果开源的决定是在风险和利益之间做出的权衡。风险在于，世界上最鲁莽的人可能会决定 AI 研究的速度，因为每个人都有机会充分利用现有的 AI 设计，而最鲁莽的人总是首先行动的人。而利益在于，在一个智力进步非常缓慢且 AI 易于被控制的世界里，没有人能够通过独自拥有唯一的 AI 来获取过大的权力。
但是，如果我们并非生活在一个进步缓慢、控制容易的世界里呢？
III.
如果 AI 以缓慢稳定的步伐从低于人类发展到人类再到超人类，那么我们可能会得到许多相对先进的 AI，我们可以不断调整它们，直到它们能够与我们很好地合作。在这种情况下，我们需要担心的是谁控制了这些 AI，OpenAI 的模型在这里显得最有意义。
然而，Bostrom 等人担心 AI 可能并非这样发展。相反，AI 可能会经历一次“硬起飞”，即 AI 研究的进步在短时间内带来了对智力的质的飞跃。想象一下，如果你在 1 月 1 日拥有一台智能相当于牛的 AI，到了 2 月 1 日它已经解决了黎曼猜想，并开始建设环绕太阳的环，那就是一次“硬起飞”。
(我这里没有足够的篇幅详细解释这些观点，所以我再次建议你阅读 Bostrom 的Superintelligence，如果你还没有读过的话。对于 AI 研究者如何看待这些观点，你可以参考AI Researchers On AI Risk。)
那为什么我们应该期待一次“硬起飞”呢？首先，这已经在自然界发生过。牛进化到会使用矛的原始人花了二千万年的时间；从原始人进化到会制造核武器的现代人只需几万年的时间。几乎所有引人关注的智力差异都发生在你可能忽视的短暂时间窗口内。
如果你要根据进化所需的工作量、大脑结构的复杂性等指标，发明一种客观的动物智商，你可能会将线虫定义为 1，牛为 90，黑猩猩为 99，直立人为 99.9，而现代人为 100。99.9 和 100 之间的差别，就如同“经常成为狮子的猎物”和“需要立法反偷猎防止所有狮子被灭绝”之间的差别。
更令人头疼的是，我们人类之所以没有更高的智商，原因竟然是如此的愚蠢。即使对这个想法深感反感的人们，也不得不同意通过选择性繁殖来提高人类的智力是在某种程度上可行的。找出所有最聪明的人，让他们跨越几代结婚，你就能得到一些非常聪明的曾孙。但是，这种做法多么离奇！繁殖聪明的人并不代表做了什么特殊的工作，也并非是在发明复杂的新脑叶。如果你要给它赋予人性，那你只是在“告诉”进化，智力是应该被选择的东西。这其实也是所有非洲草原的生存法则 —— 黑猩猩和人类之间的差别并不在于什么新的分子机制，而在于将黑猩猩置于一个智力被自然选择的环境中，让进化不得不找到一些简单的方法来适应。这些方法可能就是像“更大的大脑大小”这样的东西（你知道吗，无论是在物种间还是在个体人间，大脑大小都与智力有很强的相关性，而我们之所以没有更高的智力，可能是因为更大的大脑难以通过出生管）。如果你相信 Greg Cochran 的阿什肯纳齐智商假说，只要有一个在婚配中重视智力的文化，就足以在几个世纪内提高 15 点 IQ。这正是你应该在一个像我们这样的世界中期待的情况，因为在这里，提高智力实际上是十分容易的。
我认为实现智能需要进行一定程度的硬核工程或设计工作，这个程度远远低于人类。在达到这个程度之后，智能的限制就不再关于新的发现，而更多的是关于各种取舍，比如“能把多大的头塞进一个能适应生产过程的头颅里？”或者“神经元生长得更快不会提高癌症风险吗？”计算机并不需要通过生产过程，也不会得癌症，因此可能 AI 研究者只需要开发出几个基本原则，比如足够达到牛的智能水平，之后通往人类智能的道路就是在代码中添加“NumberOfNeuronsSimulated = 100000000000”这一行，而通向超级智能的道路就是在这个数字后面再加一个零。
（记住，从美索不达米亚到 19 世纪的英国，人类历史上发明了一种能够与人类速度相当的车辆，但在那之后的四年内，就构建了一种能以人类两倍速度行驶的车辆。）
如果人工智能有一个硬起飞，OpenAI 的策略就无法发挥作用。让每个人都拥有自己的 AI 没有意义，因为从第一个实用的 AI 出现到事情变得太复杂难以模型化，甚至没有人能真正“拥有”AI 的时间非常短。
IV.
OpenAI 的策略也没能解决 AI 风险的第二个问题：控制问题。
所有的“大公司会使用 AI 吗？”“邪恶博士会使用 AI 吗？”或者“AI 会被用于全人类的利益吗？”这类讨论都预设了你能够控制一个 AI。你当然可以控制一个像棋类计算机一样的 AI，但是没人对这样的 AI 感到害怕。那些强大到足以令人恐惧的 AI 呢？
记住程序员的经典抱怨：计算机总是按照你命令它们去做，而不是按照你期望它们去做。计算机程序在你第一次测试时往往不能按照你的期望去运行。Google Maps 的任务相对简单（在 A 点和 B 点之间规划路径），由 Google 的优秀工程师经过多年改进，并且每天有数以千万计的用户进行测试，然而它仍然会偶尔出现严重错误，比如建议你驾车从一个险峻的悬崖边缘驶过，或者让你在去角落商店的路上无故跨海而行。
人类神经结构强大，即使你通过逻辑验证他们的行为是次优的，他们也可能不以为意，仍然会坚持自己的方式。计算机并非如此，除非我们决定让他们这样，这本身就是一项艰巨的任务。它们天生脆弱，并向着特定的目标前进。如果一个 AI 拥有类似于 Google Maps 偶尔会把你带到悬崖边缘的扭曲驱动，可能无法自我纠正。一个聪明的 AI 可能能明白人类并不想让它有这样的驱动力，但这并不意味着它会更改自身的驱动力，正如你不能仅凭耐心解释就能让一个同性恋者转变为异性恋者。你的驱动力就是你的驱动力，无论是否有意为之。
当 Google Maps 误导用户驾车驶向悬崖时，Google 会静静地修复这个问题。然而，比我们更强大的 AI 可能并不需要接受我们的修复，甚至可能主动阻止我们进行修复。如果一个外星种族突然出现，宣称他们创造了我们，但犯了一个错误，实际上我们应该吃掉我们的孩子，然后让我们排队等待他们在我们体内植入吃孩子的基因，我们可能会像在《独立日》电影中一样对他们进行反抗。而更强大、目标导向明确的计算机在这种情况下可能会更加强烈地反抗。
如果我们能够在短时间内从牛级 AI 过渡到超人级 AI，那么测试牛级 AI 的稳定性并期望它在升级到超人级 AI 的过程中保持稳定将是一项非常困难的任务，因为超人级 AI 比牛级 AI 有更多的手段来制造混乱。这意味着我们可能会面临一种风险：我们可能发现超人级 AI 想要将我们赶向悬崖，而且它们极力阻止我们改变他们的这种欲望。我们可能有能力阻止这种情况的发生，但这需要我们深思熟虑，并对牛级 AI 进行大量的测试和检查，以确保他们尽可能地准备好过渡到超人级。
然而，我们通过将 AI 开源而失去了这个选择。一旦这样的程序被大众广泛接受，而在善良的博士忙于测试和调整的同时，无道德的博士可能已经下载了这个程序，打开了开关，一切就此开始。
V.
再次强调：决定是否将 AI 研究成果开源，是在风险和利益之间进行权衡的结果。风险是，在一个技术进展迅速、控制问题复杂的世界中，我们可能会面临被超人级 AI 推下悬崖的风险。而利益则是，在一个技术进展较慢、无需控制问题的世界中，没有人会利用他们独占的 AI 技术来获取过多的权力。
但是，收益的不确定性并不足以承担那么高的风险。我甚至还不完全明白 OpenAI 的创始人如何想象他们试图防止的未来。人工智能是快速且危险的吗？还是缓慢且易控制的？只有一家公司拥有它们吗？还是多个公司？或是所有的富人？他们只是一种适度的优势吗？还是巨大的优势？这些可能性似乎都不足以证明 OpenAI 牺牲安全性的决定。
我们是否担心 AI 将被一家公司统治，而 AI 几乎对所有计算应用都是必需的？微软 Windows 就是被一家公司统治，并且几乎对所有计算应用都必需。曾有一段时间，人们真正害怕微软会利用其优势，成为一个垄断的巨头，接管互联网和其他事物。但实际上，他们被苹果和谷歌赶超，如果你愿意，你可以选择像 Linux 这样的开源产品。新版 Windows 最终还是会被黑客破解，然后传到 The Pirate Bay 上。
或者，我们是否担心 AI 将以某种方式帮助富人变得更富，而让穷人变得更穷？这对于可以免费复制的软件来说，是一个奇怪的担忧。Windows 和 Google 搜索均是由数百万人工小时研究而来的复杂产品；Google 是免费的，Windows 则与你的电脑捆绑在一起。实际上，人们不惜代价创造出了这两者同样复杂的竞品，并免费提供，以至于有多个团队竞相提供这样的复杂免费软件。虽然有可能富人会购买高级 AI，但我无法将“富人能得到高级版本的产品”与“人类可能面临毁灭”等同看待。就像，试想一下那种富人拥有比我们其他人更好的东西的反乌托邦世界。这种想象甚至太恐怖了，无法去想象。
或者，我们是否担心 AI 会迅速发展，并让某些人获得无比巨大的权力？但请记住，还有政府存在，并且通常不看好其他人有可能与其竞争的强大力量。如果某公司垄断 AI 并且变得过于强大，政府将会将其打破，就像他们曾经威胁要打破日益强大的微软一样。如果有人试图利用 AI 去剥削他人，政府可以出台复杂的法规加以禁止。你可以对美国政府提出很多批评，但你不能否认，他们确实经常出台复杂的法规禁止人们进行某些行为。
或者我们担心的是，AI 会如此强大，以至于掌握 AI 的个人甚至能超越政府的力量？请思考一下这个场景。如果政府发现有人的能力达到了其四分之一，它可能会采取行动。所以，除非某个 AI 用户的 AI 能够在政府注意或做出反应之前迅速增强，足以战胜美国军队，否则这个人不太可能超越政府。但如果 AI 能做到这一点，那么我们的处境就回到了智能爆炸/快速起飞的境地，在这种情况下，OpenAI 的假设将失效。如果 AI 能在极短的时间内从无到有地提升其能力，超过美国军队，同时在行为上仍然表现得很好，那么我们实际上确实需要担心那些恶意的人，我们不应该把我们所有的研究成果都交给他们。
或者我们担心的是一些大公司会秘密制造出比美国政府更强大的 AI？我想这挺让人害怕的，但这个想法并不让人激动。谷歌接管世界？那就让它接管吧。你觉得拉里·佩奇会是一个比这些人更好或更差的领导人吗？如果他有一个超智能的 AI 帮助他，那么他应该能做得更好，对吗？是的，我承认我还是更喜欢宪法限制的政府，但这只是一个想象的恐怖情景，它与“人类可能被毁灭”这样的情况相比，根本不值一提。
如果 OpenAI 想要通过牺牲人类免受恶意 AI 的安全，以获得更好的防止人们试图控制 AI 的安全，那么他们需要提出比我迄今为止看到的任何东西都更有力的理由，以证明后者的风险有多么严重。
曾经有一段时间，美国是唯一拥有核武器的国家。除了广岛和长崎的遭遇，美国并未尽全力利用其优势，反而让俄罗斯人偷走了设计图，现在从以色列到朝鲜都有了核武器，事情还算可以。如果我们过于恐惧让美国政府短暂的战术优势，以至于我们将非常不稳定的超级核弹的设计图分发到全国的每个图书馆，我们可能不会有机会后悔我们的错误决策。
埃隆·马斯克曾经说过，AI 是“可能比核武器更危险的”。他是对的 – 因此，AI 应该不再像核武器那样公开其源代码。
VI.
然而，埃隆·马斯克却参与了这个项目。萨姆·奥尔特曼和彼得·蒂尔也是如此。还有许多其他读过博斯特罗姆的人，他们非常关注 AI 的风险，而且都非常明智。
我最大的希望是，他们像往常一样比我更聪明，掌握我不知道的知识。我的第二大希望是他们只是在犯一个简单并且不符合他们特性的错误，因为这些人不会让错误长时间无人纠正，如果只是一个错误，他们可以改变自己的看法。
但我担心的情况比这两者都要糟糕。我有机会和一些该领域的从业者交谈，我得到的印象是一个正在升温的竞争。由各种不同的 Dr. Amorals 领导的各种团队正在以比预期更快、更坚决的速度向前迈进，以至于任何一个 Dr. Good 都难以既赶上他们的步伐，又保持在这种情况下所需的谨慎。我一直有一个深藏在心底的恐惧，这种情况可能会发生。我曾希望所有的参与者都足够聪明，能成为好的合作伙伴。看来我错了。相反，我们回到了各自为战的原始状态，陷入了为了速度而疯狂竞争的经典情况，为了避免被超过，我们不得不牺牲其他所有的价值。
在这种情况下，OpenAI 项目更像是一种出于绝望的行动。就像 Dr. Good 需要采取某种高风险、高回报的策略来推动自己前进，至少允许一些安全性研究的进行。也许获得学术界和开源社区的合作就能实现这一目标。如果他们的策略谈判是这样进行的，那么我不会质疑那些比我更聪明、更有信息的人的决定。我想我只能希望 OpenAI 的领导人知道他们在做什么，不会在安全研究上偷工减料，并且有一个决定哪些成果不宜过快分享的流程。
然而我害怕事情已经发展到了这种地步。这意味着我们真的不具备所需的能力，我们只是无意识地、错误地走向灭绝，因为对我们来说，解决合作问题太难了。
这让我想起了马尔科姆·马格里奇在观看第二次世界大战爆发时写下的的话：
所有这些无疑都属于历史的一部份，需要进行历史评估；像无辜者的杀戮，黑死病，或帕申戴尔战役。但还有更多；一个强烈的渴望死亡，一种在世界上释放的巨大的毁灭力量，它将会席卷一切和每个人，将他们摧毁，焚烧，杀戮，消灭，直到什么都不剩下…从那时起，我再也没有丝毫期待，在人世间的任何事物能被挽救，任何人世间的战斗能被赢，或任何人世间的解决方案能被找到。这一切只是朝着夜晚的尽头梦游。
这个条目被发布在 未分类 并被标记为 AI。添加书签至此 永久链接 或 无评论链接。
