# AI 论战的荒谬（并且，不，AI 不会在类似于计算机般的时间尺度上进行递归自我完善） [译]

- Link: https://paooo.com/ai-study/8456/
- Published: 2024-07-23T18:20:34+08:00
- Author: 宝玉的分享

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 批判“预测下一个词=理解”的跳跃推理，指出 LLM 只是高效统计生成，并无充分证据证明
   其具备语义理解。
 * 反驳“AI 会自动自我改进并迅速递归升级”的论点，认为这更像逻辑循环与人类投射。
 * 文章核心结论：AI 可能很强，但强大能力不自动推出意识、理解或必然的超级智能路径。

（一台黄油机器人突然意识到它存在的唯一目的是传递黄油。）

![AI 论战的荒谬（并且，不，AI 不会在类似于计算机般的时间尺度上进行递归自我完善）[
译]](https://paooo.com/wp-content/uploads/2024/07/butter-robot.jpg)

在那个人们普遍认为“自动驾驶汽车还有半年就能面市”的美好时光里，你可能遇到过这样的
论点：“如果自动驾驶汽车能够运行，那么它们将比人驾驶的汽车更安全。”这听起来没错。
但如果你所说的“它们能够运行”是指它们在包括安全性在内的多方面都优于人类驾驶的汽车，
那么，果然，如果它们能运行，它们就会比人类驾驶的汽车更安全。这其实是一种逻辑上的
循环论证。不幸的是，技术界充满了这类诡辩，尤其是在 AI 领域。

**案例 #1**

在_纽约客_杂志最近的一期中，被誉为“AI 教父”的杰弗里·辛顿在一篇发布在3 Quarks Daily
的文章中对 Joshua Rothman 说：

“‘有人说，[像 [ChatGPT](https://paooo.com/tag/chatgpt/) 这样的] 大语言模型 (Large
Language Models) 不过是高级的自动填充……让我们分析一下……假设你想成为预测下一个词的
高手。要做到这一点，你必须理解所说的内容，这是唯一的途径。所以，训练一个系统变得
擅长预测下一个词，实际上是在迫使它去理解。的确，它是‘自动填充’——但你可能没有深入
思考，一个优秀的自动填充真正意味着什么。’辛顿认为，像 GPT 这样的‘大语言模型’，它是
OpenAI 聊天机器人的核心，能够理解单词和思想的含义。”

这篇文章充斥着糟糕的推理。然而，在我们深入探讨之前，我不得不指出，有人认为仅凭计算
句子中下一个词出现的概率的算法就“能理解单词和观念的含义”，这实在是对其他内容的极端
误解（公平地说，Rothman 是将这种观点归因于 Hinton 的，但并未引用 Hinton 的原话，
所以这可能并非 Rothman 真正的观点。但看起来似乎是这样。）

Hinton 表示，通过训练一个系统在预测句子中下一个单词方面变得高效，实际上是在迫使它
去理解。但并无充分证据支持这样一种说法：即预测句子中下一个单词的唯一方法就是理解
所表达的内容。大语言模型 (LLMs) 正是证明了这一点，而非推翻它。此外，根据以往的经验，
情况恰恰相反。计算器并非因为“理解”数字而胜于大多数人，而是因为它们在数学计算上的
高效性。

Hinton 真的暗示没有任何感官体验或身体，就可以完全理解人类语言吗？仅凭对某个单词出现
的可能性的理解（考虑到它通常在哪里、多么频繁地被使用），一个生成句子的程序能够“理解”
红色或悲伤吗？事实上，一个聊天机器人如何能够仅通过预测它自己接下来要说的话来“表达”
某些东西呢？顺便说一下，根据大多数关于引用的理论，这些话毕竟是在字面上什么都不指
的，因为在这些情况下，它们所使用的语言不可能指向_任何东西_。

我们可以说，智能可以以多种方式实现，正如功能主义者所主张的那样，或者不同但合适的
潜在准心理过程可能导致类似心理的结果，但这里并没有什么神秘之处。虽然我们可能不知道
大语言模型 (LLM) 在某个特定时刻在做什么，但我们大致了解正在发生的事情。我们没有理由
相信这一过程能产生理解，无论聊天机器人的功能有多强大，或者它处理了多少数据。

**陈列品 #2**

当我最近读到一篇名为“AI Will Not Want to Self-Improve”的文章时，我觉得找到了一个
志同道合的作者，他是 Peter Salib。我认为，目前 AI 想要某些东西的可能性不大，但我
赞同你的观点，即 AI 达到人类智能水平时不会自动进化成超级智能。然后我读了这篇论文。
这是它的结论。

“AI 自我改进不像当前那些认为 AI 对人类构成存在性风险的人所设想的那么可能。具有讽刺
意味的是，他们的论证太有说服力了。他们充分说明，高能力 AI 对于可能创造它的人类是
一个严重威胁。但同样，这些论证也足以表明，高能力 AI 对可能创造它的 AI 同样构成严重
威胁……AI 有充分的理由不进行自我改进，它们甚至可能集体抵制这一过程。这些发现应该指导
我们未来在促进 AI 安全的不同策略上的投资分配。”

因此，我们可以继续发展比我们更智能的 AI，因为既然它比我们更智能，它就不会去开发比
自己更聪明的 AI，这鉴于这些论点，是非常不明智的行为。尽管如此，即使我们听到了这些
论点，也没有停止发展比我们更智能的 AI，即使我们认为这可能导致非常糟糕的后果。

（坦白说，Salib 是一名律师，而不是程序员或类似的专业人士。而我是一名哲学家，不是
计算机科学家。所以，请将这一点考虑在内。）

**案例 #3**

以下是我之前讨论过的论点，它是许多关于 AI 构成所谓存在性威胁的讨论的基础。

_(1) 无论我们制造了怎样的智能型 AI，赋予它什么目标，它都会寻求自我提升。为了提升
自己，(2) 它将重新设计自己以变得更加智能，(3) 增加更多存储容量等。(4) 它会不断重复
这一过程 (5) 以电脑的时间速度，而不是人类的时间速度，直到 (6) 达到超级智能，(7) 
最终奴役或消灭人类。_

这一切都极其糟糕，不是那种好的“糟糕”就像僵尸电影那样的。

(1) Maciej Ceglowski，一位在人工智能领域拥有更多且更深入的见解的专家，认为这个观点——
任何 AI 首先会自我改善——是“典型的美国式想法”。他质疑，为何 AI 会渴望自我提升？难道
这不是人人皆有的追求吗？我们大部分时间不都在努力完善自己吗？这种想法实际上是一种
自我投射和自欺欺人的混合体。

(2) AI 如何知道如何自我改进？再聪明的 AI，也并非无所不知、无所不能，尽管有些人可能
这么认为。一个聪明的 AI 可能连计算机或大语言模型（LLM）是怎样工作的都不清楚。许多
聪明的人类也对此知之甚少。它当然可以学习，但不可能在一瞬间或仅仅一个周末内做到。
关于 AI 的讨论中存在一个技巧，就是根据需要将 AI 比作计算机（强调其学习速度）或人类（
强调其创新和理解能力）。

这个 AI 是否拥有用于研究自我改进的实验室？还是仅仅通过思考就能实现自我改善？这是不是
一种正念的体现？

我能仅凭思考就变得更聪明吗？看起来并不行。

过去人们是否仅凭逻辑推理就能制造出更先进的计算机？我们获取微波炉的方式也是这样的
吗？（我特别关注微波炉。）

(3) 关于增加存储能力的问题，我们不禁要问，一个没有感官或肢体的 AI 如何不仅设计，
还实际制造物品。它是通过说服人类为其制造吗？它如何与物理世界互动？顺带一提，它如何
访问自己的思维？

(4) _它会不断重复这个过程。_ 看来，它永远不会感到满足。

(5) 暂且不论。尽管 AI 在电脑而非人类的时间尺度上操作，它还是得遵循自然法则。它无法
像操作电脑那样迅速地凭空创造出新的物理基础设施。此外，没有物理基础设施的升级，它
怎可能无限提升智能呢？

(6) 为什么有人笃信“超级智能”真的存在？为何认为智能没有极限，或者极限远远超出我们
现在的水平？先不谈超级智能，你真的清楚智能究竟是什么吗？ 或许，不论是人类还是机器，
爱因斯坦或图灵已是我们所能达到的巅峰。

(7) 超级智能为何要灭绝我们？它为何不选择探索银河，或者解决我们的问题享受我们的赞美
呢？

明确一点，我无法证明这种事情不会发生。我也无法证明宇宙不是五分钟前才被创造出来，
伴随着大量似是而非的证据（比如你的记忆、化石等），让一切看起来更加古老。只是，我
所看到的关于自我进化 AI 带来的生存威胁的推理，让其可能性似乎与宇宙的近期创造不相上下。
我无法完全排除这种可能，但我并不为此担忧。

实际上，这种推理太过荒谬，以至于我难以相信提出这些论点的聪明人真的信以为真。那么，
他们为何还要提出这些观点呢？这才是让我担忧的问题。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**ChatGPT ↗**

OpenAI 研发的通用人工智能对话大模型，支持多模态交互与深度推理。

❓ 常见问题解答（FAQ）

大语言模型真的等于理解语言吗？

文章认为不能直接等同。仅凭预测下一个词的能力，不能证明模型理解了词义、观念或情感；
它更像是在做高效的统计生成，而不是具有人类式语义理解。

AI 会像科幻里那样自动递归自我完善吗？

作者认为这并无充分证据。把“AI 会自我提升”当作必然前提，本身就接近循环论证；现实中，
高能力 AI 是否会主动改造自己、持续加速升级，并没有被证明。

这篇文章对 AI 风险判断的核心观点是什么？

核心观点是：很多 AI 风险论证建立在未经证明的前提上，比如“模型会理解”“AI 会主动自我
改进”。作者主张应区分能力、理解与动机，避免把推测当结论。

🔬 语宙深潜追问 · 进阶实操拆解

为什么“会自我完善”常被高估？

因为把“模型能改进某些任务”偷换成“系统能无限改进自身”。现实里，训练数据、算力、目标
函数和评估机制都受人类约束，能力提升不等于具备自主递归升级的闭环。

如何识别 AI 论战中的诡辩？

重点看是否混淆理解与输出、相关性与因果、局部能力与整体智能。只要论证跳过了可验证
证据，直接从“表现像”推到“本质是”，通常就该提高警惕。

🗳️ 读者观点微投票 · 您的实战立场是？

AI 会递归自我完善吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[⚡ 所属权威专题：OpenAI GPT 与 Sora 生态 →](https://paooo.com/topics/openai-gpt-sora/)

 * [谷歌AI翻车！竟把’Google’拼错，大模型‘不识字’的硬伤藏不住了](https://paooo.com/aigc-news/18177/)
 * [可解释语言模型：探索传统与创新方法 [译]](https://paooo.com/ai-study/7005/)
 * [AI 并非你的职场竞争对手 [译]](https://paooo.com/ai-study/8503/)
 * [解锁 AI 的未来：主动推理与大语言模型的比较 —— 世界与文字 [译]](https://paooo.com/ai-study/8489/)

[🏛️ 宝玉的分享](https://paooo.com/author/baoyu/) · 前沿大模型翻译与提示词工程实战
分享专栏，聚焦海外一手 AI 技术动态与工程实践。

[📄 Markdown 纯净版](https://paooo.com/ai-study/8456/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
