（一台黄油机器人突然意识到它存在的唯一目的是传递黄油。）
在那个人们普遍认为“自动驾驶汽车还有半年就能面市”的美好时光里，你可能遇到过这样的论点：“如果自动驾驶汽车能够运行，那么它们将比人驾驶的汽车更安全。”这听起来没错。但如果你所说的“它们能够运行”是指它们在包括安全性在内的多方面都优于人类驾驶的汽车，那么，果然，如果它们能运行，它们就会比人类驾驶的汽车更安全。这其实是一种逻辑上的循环论证。不幸的是，技术界充满了这类诡辩，尤其是在 AI 领域。
案例 #1
在纽约客杂志最近的一期中，被誉为“AI 教父”的杰弗里·辛顿在一篇发布在3 Quarks Daily的文章中对 Joshua Rothman 说：
“‘有人说，[像 ChatGPT 这样的] 大语言模型 (Large Language Models) 不过是高级的自动填充……让我们分析一下……假设你想成为预测下一个词的高手。要做到这一点，你必须理解所说的内容，这是唯一的途径。所以，训练一个系统变得擅长预测下一个词，实际上是在迫使它去理解。的确，它是‘自动填充’——但你可能没有深入思考，一个优秀的自动填充真正意味着什么。’辛顿认为，像 GPT 这样的‘大语言模型’，它是 OpenAI 聊天机器人的核心，能够理解单词和思想的含义。”
这篇文章充斥着糟糕的推理。然而，在我们深入探讨之前，我不得不指出，有人认为仅凭计算句子中下一个词出现的概率的算法就“能理解单词和观念的含义”，这实在是对其他内容的极端误解（公平地说，Rothman 是将这种观点归因于 Hinton 的，但并未引用 Hinton 的原话，所以这可能并非 Rothman 真正的观点。但看起来似乎是这样。）
Hinton 表示，通过训练一个系统在预测句子中下一个单词方面变得高效，实际上是在迫使它去理解。但并无充分证据支持这样一种说法：即预测句子中下一个单词的唯一方法就是理解所表达的内容。大语言模型 (LLMs) 正是证明了这一点，而非推翻它。此外，根据以往的经验，情况恰恰相反。计算器并非因为“理解”数字而胜于大多数人，而是因为它们在数学计算上的高效性。
Hinton 真的暗示没有任何感官体验或身体，就可以完全理解人类语言吗？仅凭对某个单词出现的可能性的理解（考虑到它通常在哪里、多么频繁地被使用），一个生成句子的程序能够“理解”红色或悲伤吗？事实上，一个聊天机器人如何能够仅通过预测它自己接下来要说的话来“表达”某些东西呢？顺便说一下，根据大多数关于引用的理论，这些话毕竟是在字面上什么都不指的，因为在这些情况下，它们所使用的语言不可能指向任何东西。
我们可以说，智能可以以多种方式实现，正如功能主义者所主张的那样，或者不同但合适的潜在准心理过程可能导致类似心理的结果，但这里并没有什么神秘之处。虽然我们可能不知道大语言模型 (LLM) 在某个特定时刻在做什么，但我们大致了解正在发生的事情。我们没有理由相信这一过程能产生理解，无论聊天机器人的功能有多强大，或者它处理了多少数据。
陈列品 #2
当我最近读到一篇名为“AI Will Not Want to Self-Improve”的文章时，我觉得找到了一个志同道合的作者，他是 Peter Salib。我认为，目前 AI 想要某些东西的可能性不大，但我赞同你的观点，即 AI 达到人类智能水平时不会自动进化成超级智能。然后我读了这篇论文。这是它的结论。
“AI 自我改进不像当前那些认为 AI 对人类构成存在性风险的人所设想的那么可能。具有讽刺意味的是，他们的论证太有说服力了。他们充分说明，高能力 AI 对于可能创造它的人类是一个严重威胁。但同样，这些论证也足以表明，高能力 AI 对可能创造它的 AI 同样构成严重威胁……AI 有充分的理由不进行自我改进，它们甚至可能集体抵制这一过程。这些发现应该指导我们未来在促进 AI 安全的不同策略上的投资分配。”
因此，我们可以继续发展比我们更智能的 AI，因为既然它比我们更智能，它就不会去开发比自己更聪明的 AI，这鉴于这些论点，是非常不明智的行为。尽管如此，即使我们听到了这些论点，也没有停止发展比我们更智能的 AI，即使我们认为这可能导致非常糟糕的后果。
（坦白说，Salib 是一名律师，而不是程序员或类似的专业人士。而我是一名哲学家，不是计算机科学家。所以，请将这一点考虑在内。）
案例 #3
以下是我之前讨论过的论点，它是许多关于 AI 构成所谓存在性威胁的讨论的基础。
(1) 无论我们制造了怎样的智能型 AI，赋予它什么目标，它都会寻求自我提升。为了提升自己，(2) 它将重新设计自己以变得更加智能，(3) 增加更多存储容量等。(4) 它会不断重复这一过程 (5) 以电脑的时间速度，而不是人类的时间速度，直到 (6) 达到超级智能，(7) 最终奴役或消灭人类。
这一切都极其糟糕，不是那种好的“糟糕”就像僵尸电影那样的。
(1) Maciej Ceglowski，一位在人工智能领域拥有更多且更深入的见解的专家，认为这个观点——任何 AI 首先会自我改善——是“典型的美国式想法”。他质疑，为何 AI 会渴望自我提升？难道这不是人人皆有的追求吗？我们大部分时间不都在努力完善自己吗？这种想法实际上是一种自我投射和自欺欺人的混合体。
(2) AI 如何知道如何自我改进？再聪明的 AI，也并非无所不知、无所不能，尽管有些人可能这么认为。一个聪明的 AI 可能连计算机或大语言模型（LLM）是怎样工作的都不清楚。许多聪明的人类也对此知之甚少。它当然可以学习，但不可能在一瞬间或仅仅一个周末内做到。关于 AI 的讨论中存在一个技巧，就是根据需要将 AI 比作计算机（强调其学习速度）或人类（强调其创新和理解能力）。
这个 AI 是否拥有用于研究自我改进的实验室？还是仅仅通过思考就能实现自我改善？这是不是一种正念的体现？
我能仅凭思考就变得更聪明吗？看起来并不行。
过去人们是否仅凭逻辑推理就能制造出更先进的计算机？我们获取微波炉的方式也是这样的吗？（我特别关注微波炉。）
(3) 关于增加存储能力的问题，我们不禁要问，一个没有感官或肢体的 AI 如何不仅设计，还实际制造物品。它是通过说服人类为其制造吗？它如何与物理世界互动？顺带一提，它如何访问自己的思维？
(4) 它会不断重复这个过程。 看来，它永远不会感到满足。
(5) 暂且不论。尽管 AI 在电脑而非人类的时间尺度上操作，它还是得遵循自然法则。它无法像操作电脑那样迅速地凭空创造出新的物理基础设施。此外，没有物理基础设施的升级，它怎可能无限提升智能呢？
(6) 为什么有人笃信“超级智能”真的存在？为何认为智能没有极限，或者极限远远超出我们现在的水平？先不谈超级智能，你真的清楚智能究竟是什么吗？ 或许，不论是人类还是机器，爱因斯坦或图灵已是我们所能达到的巅峰。
(7) 超级智能为何要灭绝我们？它为何不选择探索银河，或者解决我们的问题享受我们的赞美呢？
明确一点，我无法证明这种事情不会发生。我也无法证明宇宙不是五分钟前才被创造出来，伴随着大量似是而非的证据（比如你的记忆、化石等），让一切看起来更加古老。只是，我所看到的关于自我进化 AI 带来的生存威胁的推理，让其可能性似乎与宇宙的近期创造不相上下。我无法完全排除这种可能，但我并不为此担忧。
实际上，这种推理太过荒谬，以至于我难以相信提出这些论点的聪明人真的信以为真。那么，他们为何还要提出这些观点呢？这才是让我担忧的问题。
