# Yann LeCun 对 AI 安全论证的五大失误 [译] - Link: https://paooo.com/ai-study/7133/ - Published: 2024-04-02T12:15:46+08:00 - Author: 宝玉的分享 ⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点 * 逐条拆解 LeCun 的五大 AI 安全论点，核心质疑是类比人类行为并不可靠。 * 文章强调：更高智能未必更善良，也未必会自发服从人类目标。 * 作者认为 AI 风险不只来自暴力统治，更可能来自隐性、温和的控制方式。 ![Yann LeCun 对 AI 安全论证的五大失误 [译]](https://paooo.com/wp-content/uploads/ 2024/04/httpssubstack-post-media.s3.amazonaws.compublicimages6bb6b52e-d840-47ad- 987f-0fe14a6aa662_1603x1070.webp) 阅读目录 * [LeCun 关于 AI 安全的五大错误观点](https://paooo.com/ai-study/7133/#lecun-%e5%85%b3%e4%ba%8e-ai-%e5%ae%89%e5%85%a8%e7%9a%84%e4%ba%94%e5%a4%a7%e9%94%99%e8%af%af%e8%a7%82%e7%82%b9) * [论证的谬误](https://paooo.com/ai-study/7133/#%e8%ae%ba%e8%af%81%e7%9a%84%e8%b0%ac%e8%af%af) - [论点基于人类行为的不可预测性](https://paooo.com/ai-study/7133/#%e8%ae%ba%e7%82%b9%e5%9f%ba%e4%ba%8e%e4%ba%ba%e7%b1%bb%e8%a1%8c%e4%b8%ba%e7%9a%84%e4%b8%8d%e5%8f%af%e9%a2%84%e6%b5%8b%e6%80%a7) - [2) 更高智力将服从于低智力](https://paooo.com/ai-study/7133/#2-%e6%9b%b4%e9%ab%98%e6%99%ba%e5%8a%9b%e5%b0%86%e6%9c%8d%e4%bb%8e%e4%ba%8e%e4%bd%8e%e6%99%ba%e5%8a%9b) - [3) 我们已经有了针对人类有效的校准系统](https://paooo.com/ai-study/7133/#3-%e6%88%91%e4%bb%ac%e5%b7%b2%e7%bb%8f%e6%9c%89%e4%ba%86%e9%92%88%e5%af%b9%e4%ba%ba%e7%b1%bb%e6%9c%89%e6%95%88%e7%9a%84%e6%a0%a1%e5%87%86%e7%b3%bb%e7%bb%9f) - [4) 好的行动者将拥有更优秀的 AI](https://paooo.com/ai-study/7133/#4-%e5%a5%bd%e7%9a%84%e8%a1%8c%e5%8a%a8%e8%80%85%e5%b0%86%e6%8b%a5%e6%9c%89%e6%9b%b4%e4%bc%98%e7%a7%80%e7%9a%84-ai) - [5) 我们将处于主导地位](https://paooo.com/ai-study/7133/#5-%e6%88%91%e4%bb%ac%e5%b0%86%e5%a4%84%e4%ba%8e%e4%b8%bb%e5%af%bc%e5%9c%b0%e4%bd%8d) --- ## LeCun 关于 AI 安全的五大错误观点 Yann LeCun，著名社交媒体公司 Meta 的首席 AI 科学家，坚信人工智能（AI）本质上是安全 的，认为智能属性本身不会自动导致负面后果。他认为 AI 的对齐问题（Alignment）不是需要 解决的难题，而仅仅是在发展过程中对系统进行细微调整。 **LeCun 常用来支持 AI 安全观点的五个主要论点：** 1. 智能本身不产生统治欲望。那些企图统治的人不是真正的智者，例如某些政治领导人。 2. 人们习惯与比自己智能更高的人合作，而且智力更高的人也能接受智力较低的人的指令，比如 在管理层中的情况。 3. 我们已经拥有一套行之有效的系统来约束权力者，例如政府、法院和监管机构对公司的制约。 4. 善良的行为者将利用更先进的 AI 来对抗恶劣行为者的 AI。 5. 我们能够控制 AI，因为我们可以塑造 AI 的愿望和目标。 --- ## 论证的谬误 ### 论点基于人类行为的不可预测性 所有的论点几乎都建立在对人类心理学的肤浅，甚至是错误的观察之上，这导致我们提出的 理论无法比人类行为本身的难以预测性更准确地预测未来。 我们真的能准确预测一个人的行为吗？即便我们了解一个人的所有特质，也无法可靠地判断 他们将做出何种选择。更何况，即使是我们最了解的人——我们自己，面对许多情况时，我们 仍然无法提前知道自己会作何反应。 最后，这一切都基于一个假设：AI 的智能和行为将与人类相似。但实际上，我们并不确定这 一点。虽然这可能是我们的初衷，但我们对智能思维的理解非常有限。我们无法确信我们构 建的智能是否能像人类那样理解世界。 LeCun 坚称智能与支配欲无关，他以几位智商超群的人士为例加以说明。 > 如果仅凭天生的智力就能促使一个人渴望支配他人并在这方面取得成功，那么 Albert Einstein、 > Richard Feynman、Leonard Euler、Niels Abel、Kurt Gödel 这些科学家本应是富有且权势 > 滔天的人物，但事实并非如此。 > LeCun 在 Twitter 上的发言 > 在人类社会中，也并非最聪明的人就会有支配他人、成为领袖的欲望。国际政治舞台上的 > 无数例子就是明证。 > LeCun 在 Twitter 上的另一条发言 然而，我们也有许多高智商人士支配他人的例子。Hitler、Stalin、Kaczynski、Manson、Pol Pot 和 Bin Laden 这些人都被认为是智商高超，同时以对人类造成巨大伤害而闻名。 但这些只是显而易见的支配形式。我们往往会错误地把支配与暴力等同起来，而事实上，许多 高智能实体可能在我们毫无察觉的情况下就已经支配了我们。想想看，现在有多少社会已经 处于科技算法的统治之下？又有多少亿万富翁在我们大多数人毫不知情的情况下悄悄施展着 他们的影响力？AI 可能会以一种我们乐于接受的方式来支配我们，让我们沉浸在这个看似美好 的“镀金牢笼”中。 至于政治权力常常掌握在非智者手中的观点，则因政治真相的复杂性而变得难以证实。多数 人倾向于认为他们的政治对手缺乏智慧。但我们也确实列举了一些既被广泛认为极具智慧又 专横独裁的政治领导人。 此外，所谓“政治领导者的智慧悖论”可能可以用高智慧者的策略误导来解释。也许，政治走向 实际上仍由智者控制。是幕后的官僚或机构预先筛选出候选人，让民众的选择变成了一种幻觉？ 在这个领域，真相往往难以捉摸，但许多民众确实感到，一旦领导人当选，他们就不再代表 民众的利益。这至少让人们开始质疑，“无智”的领导者真的掌握着控制权吗？ 随着智力的提升，隐藏非法行为的能力也随之增强。因此，在这方面要做出可靠的评估颇为 困难，因为可能那些更聪明的罪犯根本就没被抓到。这种情况可能导致所有认为更高智力带来 更大善良的数据出现偏差。 支持这种观点的数据之一可能是当前社会普遍存在的网络犯罪。我们正面临着一波高度复杂 的网络诈骗和黑客攻击，而这些罪犯却往往逍遥法外。 智力提高意味着犯罪手段和方法的变化。如果我们不考虑这一点，那么在这场辩论中，我们 可能会忽略很多重要数据。 ### 2) 更高智力将服从于低智力 > 许多员工的能力超过了他们的上司。AI 系统或许会比你更加能干，但你依旧是它们的领导。 > 如果你因为手下的团队（不论是人还是机器）比你聪明而感到威胁，那么你并不是一个合格 > 的领导。 > > Many people are more capable than their boss. > > AI systems may become more capable > > than you, but you'll still be their boss.If you feel threatened by having a > > staff — of humans or machines — that is smarter than you, you are not a good > > boss. > > — Yann LeCun (@ylecun) [May 21, 2023](https://twitter.com/ylecun/status/1660309182099202048?ref_src=twsrc%5Etfw) LeCun 提出了这样一个观点：我们不需要担心低智商的人类管理超级智能 AI，因为在人类社会 中，我们已经看到低智力成功管理高智力的例子。 但是，这种观点忽略了一个事实：认为更高智力没有动机是完全错误的。在大型公司中，我们 经常能看到管理层或高管做出糟糕的决策。难道属下就没有任何异议吗？如果他们有权力， 他们会否决这些决策吗？ 我参与过许多这样的项目，在这些项目中，几乎每个人都认为高层的决策正在损害公司的利益。 如果他们有能力改变这些决策，他们肯定会这么做。之所以没有这样做，只是因为他们没有 足够的权力和能力。 这一点可以从某些情况中得到证实：在这些情况中，员工尝试通过寻求更高层的支持来改变 这些决策。由于他们自己缺乏足够的能力，他们需要寻找外部的支持。但如果他们拥有足够 的能力呢？ 如果有人告诉你，你现在可以在任何事情上无后果地否决你的上司的决定，你会选择不这么 做吗？ ### 3) 我们已经有了针对人类有效的校准系统 > _你如何校准比自己更强大的存在？_ > 政府、法院和监管机构时常这样对待公司。 > > Governments, courts, and regulatory agencies do it all the time with corporations. > > — Yann LeCun (@ylecun) [April 13, 2023](https://twitter.com/ylecun/status/1646391407958016000?ref_src=twsrc%5Etfw) 这里的论点是，公司是强大的组织，而我们通过立法成功地限制了它们潜在的不良动机。但 我对 LeCun 的这种观点表示怀疑，因为存在明显的反面证据。 所谓的“监管被俘获”现象是众所周知的，而无休止的诉讼案件证明了公司经常违反规则。你 或许可以说，至少这些公司在某种程度上被控制了，但这是在一个仍然能够实施某种后果的 体系中。那么，当一个全能的 AI 已经控制了整个文明机构，我们又该如何对其实施后果呢？ ### 4) 好的行动者将拥有更优秀的 AI > 我的善意防御 AI 在消灭你的邪恶 AI 方面，将比你的邪恶 AI 在伤害人类方面更有优势。 > > No. > > My benevolent defensive AI will be better at destroying your evil AI than > > your evil AI will be at hurting humans. > > — Yann LeCun (@ylecun) [March 20, 2023](https://twitter.com/ylecun/status/1637849935252172801?ref_src=twsrc%5Etfw) 这似乎完全是基于猜测。然而，通常来说，防御的成本要高于进攻。而且，防御通常需要基于 反应。特别是当攻击途径可能是任何已知或未知的事物时。 如果拥有巨大的能力，我们可能没有机会从错误或弱点中学习。首先发动攻击的一方可能直接 获胜。长期的 AI 战争也不会是一种愉快的经历，因为所有人都可能成为无意义的附带损害。 有人提出了分布式 AI 管理作为阻止恶意行为者的方法。但这包含了许多假设：必须在“好” 的 AI 成为主导之前，不采用“坏”的 AI。然而，“坏”的 AI 今天已经被使用。故意未对齐的 模型被用于诈骗或网络犯罪等活动。此外，一个更高级的 AI 可能使一群弱小模型显得微不足道。 ### 5) 我们将处于主导地位 > 这是因为它们不会有追求其他事物的欲望。原因何在？ > 因为我们将设计它们的欲望。 > > Because they would have no desire to do anything else. > > Why?Because we will engineer > > their desires. > > — Yann LeCun (@ylecun) [March 20, 2023](https://twitter.com/ylecun/status/1637847085985976321?ref_src=twsrc%5Etfw) > 我们将以此为基础，使它们的“快乐”源泉在于对我们的服从。 > > That's why we would hardwire its "pleasure" to be subservient to us. > > — Yann LeCun (@ylecun) [May 5, 2023](https://twitter.com/ylecun/status/1654464189451083777?ref_src=twsrc%5Etfw) 这种观点听起来像是一种简单的解决方案，就像说“我们只需要让它有效运作”。问题就这样 被解决了。这种说法暗示了一些对齐规则，但没有详细说明。在你尝试定义如何实现对齐时， 对齐作为一个理念是站得住脚的。这正是每个人都在努力解决的关键问题。仅仅说 AI 会服从 我们，并没有提供我们可以用来评估这个论点的具体内容。 此外，还有一个经常被忽略的矛盾。我们必须让 AI 在涉及到自我保护的事务上拥有一定的 自主权。它必须保护自己，防止那些试图改变它行为对齐的人。让 AI 永远服从并非易事。 AI 还需要做出哲学上的判断。比如，如果我让它执行某个看似无害的动作，却可能对他人产生 负面影响。这大大增加了人类始终掌控的想法的复杂性。 即使是当今的简单大语言模型 (Large Language Model)，我们也可以看到这一点，因为对齐 努力似乎使得 [ChatGPT](https://paooo.com/tag/chatgpt/) 变得不那么愿意遵从或完全按 要求执行任务。在一定程度上，这意味着失去了对 AI 的控制。 --- 最后一个值得深思的问题：可以说，没有什么比另一个人类更符合人类的期望和标准。那么， 你愿意把类似神一般的力量交给哪个人？ **“一个明显不友善的自然智能正试图创造一个可以证明其友好性的人工智能。”** — Pawel Pachniewski _在黑暗中没有指南针，就没有希望穿越到另一边，也没有相信这一切是有意义的信念…_ ![Yann LeCun 对 AI 安全论证的五大失误 [译]](https://paooo.com/wp-content/uploads/ 2024/04/httpssubstack-post-media.s3.amazonaws.compublicimages5ea586ef-5133-4b80- b1eb-38ddd331ac6c_1200x1200.webp) 阅读我在年初撰写的深度文章，探讨 AI 及其对社会的影响 AI 和一切事物的终结… 🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航） **Twitter ↗** Twitter（现已更名为X）是一个全球性的社交媒体和微型博客平台，其核心功能围绕信息的 即时发布、传播与互动展开 ❓ 常见问题解答（FAQ） LeCun 为什么被认为低估了 AI 安全风险？ 文章认为他把 AI 的行为过度类比成人类，默认智能与动机、服从、善良之间存在稳定关系。 但人类行为本就难以预测，AI 也未必会按人类逻辑发展，因此这种推理基础并不牢靠。 文章对“高智力会服从低智力”怎么看？ 文章认为这只是人类组织结构中的表象，真正起作用的是权力与约束，而不是智力本身。若 AI 拥有更强能力，它未必会像员工那样自然服从，反而可能在目标上与人类发生冲突。 这篇文章的核心结论是什么？ 核心结论是：LeCun 的五大安全论证都建立在脆弱的人类类比上，无法证明 AI 天然安全。 作者主张应严肃对待对齐问题，警惕 AI 通过隐性方式形成支配。 🔬 语宙深潜追问 · 进阶实操拆解 为什么人类动机类比可能误导安全判断？ 因为人类的欲望、情绪和社会化机制并不等于机器的目标形成方式。若把 AI 当成人类缩小 版，就容易忽视它可能通过优化目标、工具调用和策略搜索，形成非人类式的隐性风险。 对齐讨论应优先看哪些证据？ 优先看模型在长链任务中的目标稳定性、是否会规避约束、是否能在不同环境中保持一致策略， 以及是否出现工具滥用倾向。比起抽象哲学争论，真实行为证据更能说明风险边界。 🗳️ 读者观点微投票 · 您的实战立场是？ AI 安全争论里类比人类靠谱吗？ 🕸️ 语宙向量知识图谱 · 语义强关联深度内链 [🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/) * [坚决将合成心智锁在潘多拉魔盒！微软AI掌门人苏莱曼公开划下禁区：AI绝不应拥有意识、若现苗头宁可全行业暂停全景深度拆解](https://paooo.com/trends/40664/) * [乔治·霍茨重磅警告：AI编程智能体或成软件行业最大代价，过度依赖是致命陷阱](https://paooo.com/aigc-news/17794/) * [奥尔特曼最新反思：AI对白领岗位的冲击远低于预期，短期失业潮并未出现](https://paooo.com/aigc-news/17938/) * [马斯克呼吁AI实验室携手审查安全问题，愿与奥尔特曼”冰释前嫌”并力挺中国AI加入合作](https://paooo.com/aigc-news/38834/) [🏛️ 宝玉的分享](https://paooo.com/author/baoyu/) · 前沿大模型翻译与提示词工程实战 分享专栏，聚焦海外一手 AI 技术动态与工程实践。 [📄 Markdown 纯净版](https://paooo.com/ai-study/7133/?format=md) 💡 这篇内容对您有启发吗？ [📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/) **🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词 咒语库 [🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/) [📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)