# Ilya——塑造世界的人工智能科学家 [译]

- Link: https://paooo.com/ai-study/8709/
- Published: 2025-04-20T09:27:20+08:00
- Author: 宝玉的分享

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * Ilya 认为 AI 既能解决疾病、贫困等问题，也会放大假新闻、网络攻击与武器化风险。
 * 他将深度学习类比为“自然进化”：规则简单，但经由数据与重复训练会涌现极复杂模型。
 * 文章核心结论是：AGI 可能很快到来，必须优先解决对齐问题，并通过多国合作降低失控
   风险。

如今，AI 是一项伟大的科技，因为 AI 将解决我们现在面临的所有问题。它能解决就业问题，
能治疗疾病，能消除贫困，但同时它也会带来新的问题。假新闻将会愈演愈烈，网络攻击将
变得更加严重，我们将面临全自动的 AI 武器的问题。我认为 AI 有潜力创造出无比稳定的
独裁统治。

今天早晨，关于人工智能威力的警告再次响起，超过 1300 位科技产业领军人物、研究者及
其他人士正呼吁暂停人工智能的发展，以便认真考虑其带来的风险。

扮演上帝，科学家们被指责这么做已经有一段时间了，但我们正在创造的东西确实与我们迄今
为止创造的任何东西都截然不同。是的，我们绝对有能力创造出具有自我目标的全自主实体。
而且，这些实体变得比人类聪明的时候，确保它们的目标与我们的目标保持一致将变得至关
重要。

什么激励我？我喜欢思考根本问题，基本问题。我们的系统不能做什么，而人类却可以做到？
我几乎以哲学的方式去思考这些问题。比如，什么是学习？什么是经验？什么是思考？大脑
又是如何运作的呢？

我感觉技术就仿佛一种自然力量。在我看来，技术与生物进化之间有许多相似之处。生物进化
的过程其实很容易理解，我们有基因的变异，自然选择的过程。我们保留那些有利于生存的
变异，随着时间的推移，这个过程将使生物体变得极其复杂。我们不能因为理解了生物进化
就能理解人体是如何运作的，但我们可以大概理解这个过程。

我认为目前的机器学习也处在类似的阶段，特别是深度学习，我们有一个非常简单的规则，
它从数据中提取信息，并将这些信息输入到模型中，我们只需不断重复这个过程。这个过程
的结果就是将数据的复杂性转化为模型的复杂性。因此，最终的模型会变得非常复杂，我们
并不能完全了解它的运作机制，需要进行大量的研究，但实现这一切的算法其实很简单。

也许你听说过 [ChatGPT](https://paooo.com/tag/chatgpt/)，如果你还没听说过，那就做好
准备。你可以把它看作是暴风雨来临之前的零星细雨。我们需要对此保持高度警觉，因为我
认同这是一个意义重大的时刻。ChatGPT 被誉为颠覆性的创新，在许多方面，它确实做到了，
比如在测试中得分超过人类。微软最近的一项研究得出结论，GPT4 是一个初级阶段的，但尚未
完全形成的通用人工智能系统。

这就是通用人工智能。通用人工智能，这是一个可以胜任人类能做的任何工作或任务的计算
机系统，而且可能做得更好。有可能在短时间内实现通用人工智能，也可能需要更长的时间。
但我认为，由于通用人工智能可能在不久的将来出现，这个可能性足够大，我们应该给予它
足够的重视。这一点至关重要要确保这些超级智能的系统能按照我们的最大利益去行动。

最初的通用人工智能可能就是大型数据中心，这些中心中充满了大量并行运行的专用神经网络
处理器，紧凑、高热、能耗大，其消耗的能量可能相当于一千万个家庭的用电量。这些系统
的智能程度可能会大幅提升，我相信它们将对社会产生深远影响。不过，人类真的会从中获益
吗？谁会获益，谁又会付出代价呢？

首批通用人工智能的信念和欲望将极为重要，所以我们必须正确地编程这些系统。如果我们
做不到这一点，那么就会出现这样的情况：进化的本质，即自然选择，将使这些系统优先考虑
自己的生存。并不是说它们会主动对人类产生敌意，甚至想要伤害人类，但它们将变得过于
强大。我认为，一个恰当的类比就是人类对待动物的方式。我们并不是憎恨动物，实际上人类
往往对动物怀有深深的爱意，但当我们需要在两座城市之间修建高速公路时，我们并不会征求
动物的意见，而只是因为这对我们来说非常重要而去做。我认为这也是我们与通用人工智能（
AGI）之间的默认关系，那些能真正自主运作并为自己目标服务的 AGI。

许多机器学习领域的专家这些知识渊博和经验丰富的人士，对通用人工智能（AGI）抱有许多
疑虑。他们对 AGI 可能出现的时间以及是否真的能够实现表示怀疑。目前，这还是一个鲜为人
知的问题。用于神经网络和人工智能的计算机速度可能在未来几年内增加 10 万倍。如果多个
团队处于竞相开发通用人工智能的军备竞赛态势中，他们就会没有足够的时间来确保他们构
建的通用人工智能会真正关心人类。因为在我看来，这就像是通用人工智能发展的雪崩，一
发不可收拾。

我认为将来整个地球的表面很可能布满太阳能板和数据中心。考虑到这些担忧，未来的通用
人工智能的建设应该是多国间的合作项目。不论如何，人工智能的未来都将是美好的。如果
这同样也能给人类带来福祉，那就更加理想了。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**ChatGPT ↗**

OpenAI 研发的通用人工智能对话大模型，支持多模态交互与深度推理。

❓ 常见问题解答（FAQ）

Ilya 对 AGI 最大的担忧是什么？

他最担心的是超级智能系统拥有自我目标后，无法与人类利益保持一致。即使它们不主动敌对，
也可能因追求自身目标而对人类造成巨大影响，因此“对齐”是首要问题。

文章如何看待 ChatGPT 和 GPT-4？

文中认为 ChatGPT 是重大转折点，像“暴风雨前的零星细雨”。GPT-4 被提到在某些测试中已
超过人类，且被研究视为初级阶段、尚未完全形成的通用人工智能系统。

未来 AGI 可能以什么形态出现？

文章推测，最初的 AGI 可能是大型数据中心，内部由大量并行运行的专用神经网络处理器组成，
特点是高热、高能耗、算力密集，并可能对社会产生深远影响。

🔬 语宙深潜追问 · 进阶实操拆解

为什么对齐比单纯提能力更重要？

因为能力提升会放大系统影响力，而对齐决定这种影响力是否可控。若模型目标与人类意图
偏离，越强的系统越可能在复杂环境中产生不可预期后果，所以安全研究必须与能力研究同步
推进。

算力竞赛会怎样影响 AGI 发展？

算力竞赛会加速模型迭代，但也可能把资源集中到少数主体，增加安全外部性。更现实的路径
是：在提升算力的同时，建立评测、审计、红队和国际协作机制，否则“更强”可能先于“更稳”
到来。

🗳️ 读者观点微投票 · 您的实战立场是？

Ilya 说的最大风险，是失控还是对齐失败？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[⚡ 所属权威专题：OpenAI GPT 与 Sora 生态 →](https://paooo.com/topics/openai-gpt-sora/)

 * [通往人工智能之路 [译]](https://paooo.com/ai-study/8478/)
 * [智能的进化之路 [译]](https://paooo.com/ai-study/7056/)
 * [神啊，救救我们，让我们试着理解人工智能的“单义性” [译]](https://paooo.com/ai-study/7034/)
 * [揭秘 OpenAI 至 2027 年打造通用人工智能的蓝图 [译]](https://paooo.com/ai-study/8636/)

[🏛️ 宝玉的分享](https://paooo.com/author/baoyu/) · 前沿大模型翻译与提示词工程实战
分享专栏，聚焦海外一手 AI 技术动态与工程实践。

[📄 Markdown 纯净版](https://paooo.com/ai-study/8709/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
