Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: 涌现能力的深刻理解:基础现象、幻觉,或两者皆有? [译]
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
涌现能力的深刻理解:基础现象、幻觉,或两者皆有? [译]
Prompt 语宙 > 强化 AI 学习 > 涌现能力的深刻理解:基础现象、幻觉,或两者皆有? [译]
强化 AI 学习

涌现能力的深刻理解:基础现象、幻觉,或两者皆有? [译]

宝玉的分享
最近更新: 2026年5月23日 下午6:30
AI智能体 ChatGPT OpenAI 大模型微调
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 规模扩大会带来零样本能力飞跃,但“临界点”往往难以提前准确预测。
  • 换用更平滑的评估指标后,部分看似突现的技能曲线会变得连续可预期。
  • 在多步骤推理等“并且”型任务中,能力跃迁未必是幻觉,可能反映真实的组合难度。

在语言模型的发展中,我们见证了规模的强大力量。Radford 等人在最初的 GPT 论文 中指出,模型在训练过程的某个时刻突然“习得”了对句子 X 进行情感分析的能力,能预测它更可能是“非常消极”或“非常积极”的后续内容。随着模型的训练,其零样本 (zero-shot) 性能出现了显著的“飞跃”。当然,如 Radford 等人所述,这需要一个“成本高昂的预训练步骤——在 8 个 GPU 上训练 1 个月”。😊

涌现能力的深刻理解:基础现象、幻觉,或两者皆有? [译]

图 1: 图片改编自 OpenAI GPT 博客文章 (2018 年)。

GPT-2 论文 揭示了规模增大的益处。正如论文所述,GPT-2 是对 GPT 的扩展版本,拥有大约十倍的参数和数据量。这种规模的扩大带来了质的飞跃。尤其是不仅提高了“零样本”性能,还能生成较长的连贯文本(见下文)。当然,GPT-3 和 GPT-4 进一步证明了规模的重要性。

涌现能力的深刻理解:基础现象、幻觉,或两者皆有? [译]

图 2: GPT-2 根据 Open-AI 博客文章生成的文本。

涌现能力的深刻理解:基础现象、幻觉,或两者皆有? [译]

图 3: GPT 3.5-turbo-instruct 根据同一文本生成的内容。

涌现能力的深刻理解:基础现象、幻觉,或两者皆有? [译]

图 4: GPT-4 对于撰写同一篇演讲的提示作出的回应。

Wei et al. 的研究表明,随着训练规模的增大,“涌现的能力”是常见现象。这种新能力的特征是:

  • 当我们按训练计算量(对数刻度)绘制性能曲线时,最初的阶段性能表现平平,但在某个临界点后,性能会突然大幅提升。
  • 我们目前无法预先准确预测这个临界点的出现时间。

涌现能力的深刻理解:基础现象、幻觉,或两者皆有? [译]

图 5: 出自 Ganguli et al 关于“可预测性与意外”研究的图 2。左侧面板基于 GPT-3 论文,中间面板基于 Gopher 论文,右侧面板基于 Nye et al, 21。

“Grokking 文章”(作者:Power et al)也展示了在代数任务的合成环境中,从随机猜测到完美解决问题的显著进步。

涌现能力的深刻理解:基础现象、幻觉,或两者皆有? [译]

图 6: 一种深度网络在学习模块化除法时,展现了从基本水平到完美准确度的显著提升。更重要的是,这种转变在测试精度上的出现比训练精度要晚得多。详见 Power et al 的图 1。

涌现能力真的是幻觉吗?

近期,Schaffer, Miranda, 和 Koyejo 的一篇论文中提出了这样一个观点:涌现能力可能只是一种错觉。他们指出,如果换一个评估任务表现的标准,我们可能会看到一个平缓且可预期的进步,而不是之前认为的突兀和难以预测的飞跃。

涌现能力的深刻理解:基础现象、幻觉,或两者皆有? [译]

图 7:根据输出长度来衡量两个四位数相加的表现,分别采用(左侧)准确性:完全正确答案的比率,和(右侧)编辑距离:与正确答案的接近程度。右侧图表中的“软”指标展示出了一种比左侧的“硬”指标更为逐步和可预测的进展。摘自 Schaeffer et al, 2023 的图 3。

我们自己的论文(与 Edelman, Goel, Kakade, Malach, 和 Zhang 合作)也展现了类似的现象,即在学习奇偶性任务时也观察到这样的情况。而 Nanda et al 则使用了机械可解释性方法,为“理解”这一概念提出了一个“进程度量”。

涌现能力的深刻理解:基础现象、幻觉,或两者皆有? [译]

图 8: 改编自 Barak et al. 22 的图 3。尽管错误率和损失在图中突然下降,但在学习奇偶性问题时,相关特征权重的变化却更为渐进。

可以通过以下类比来理解这一现象:想象有人正在学习跳过一个一米高的跨栏。

涌现能力的深刻理解:基础现象、幻觉,或两者皆有? [译]

图 9: ChatGPT (DALL-E) 绘制的漫画,展现了一位志在成为跨栏高手的运动员。

当这位梦想成为优秀运动员的人不断训练时,他们的跳跃高度理应不断提高。但如果我们通过他们越过栏杆的可能性来评估他们的进步,就会发现一种“急剧转变”或“新技能突显”的趋势。

涌现能力的深刻理解:基础现象、幻觉,或两者皆有? [译]

图 10: 运动员跳跃的高度随着训练量的增加而逐渐提高,但越过一米高栏杆的概率却会出现明显的跳跃式增长。

在他们引人入胜的论文中,Schaffer、Miranda 和 Koyejo 展示了如何通过改变评估标准,让很多看似突然出现的技能曲线消失不见。那么,这是否意味着所有新技能的显现都只是错觉呢?我认为并非如此。

这是因为,在现实世界中的许多任务,尤其是涉及推理的任务,我们需要同时应对多重挑战。特别是在构建一条连续的“思考链”时,我们必须依次解决一系列问题,一旦其中任何一环出错,都可能导致整个推理偏离正确轨道。Schaffer 等人在论文的第二节中指出,当成功的条件变为多个因素共同满足(即多事件的“并且”关系)时,成功的概率曲线会变得更加陡峭。

涌现能力的深刻理解:基础现象、幻觉,或两者皆有? [译]

涌现能力的深刻理解:基础现象、幻觉,或两者皆有? [译]

图 11: 当单枚硬币出现“正面”的概率增加时,所有 k 枚硬币同时出现“正面”的概率急剧提高。(上图:X 轴代表单枚硬币出现正面的概率,下图:X 轴为单枚硬币概率的对数值,即 (p,1-p) 与 (1,0) 的负交叉熵损失)

在很多实际任务中,我们往往不知道如何把一个复杂的任务拆解成一系列简单、可预测的小部分,特别是在我们还未解决这个任务之前。因此,即便我们能精确地预测一个用 N flops 训练出的模型的损失值,我们也可能无法预测这个模型能解决哪些任务,尤其是那些超出仅需 N/10 flops 的模型所能解决的任务。

🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
ChatGPT ↗
OpenAI 研发的通用人工智能对话大模型,支持多模态交互与深度推理。
❓ 常见问题解答(FAQ)
大模型的涌现能力到底是真实的吗?

不完全是。文章认为,部分“突然出现”的能力可能只是评估指标造成的视觉突变;但在需要多步推理、多个条件同时满足的任务中,能力跃迁也可能是真实存在的。

为什么换个指标后涌现现象会消失?

因为某些“硬指标”如完全正确率会把渐进提升压成突变;改用编辑距离等“软指标”后,模型进步会显得更连续、更可预测,突现感就会减弱。

为什么推理任务更容易出现能力突变?

推理任务通常由多个子步骤组成,任何一步出错都可能导致整体失败。当成功条件是多个因素同时满足时,成功概率会随单项能力提升而更陡峭地上升。

🔬 语宙深潜追问 · 进阶实操拆解
如何判断涌现是真还是假?

先看指标是否连续、任务是否真实、阈值是否人为切分。若性能只是因评估方式变化而“突然跳变”,多半是度量幻觉;若在多步推理、组合泛化上稳定提升,才更像真实涌现。

研究者该怎么设计更可靠评测?

应使用连续指标、跨任务验证和消融实验,避免只盯单一基准分数。最好把训练规模、数据分布和推理长度都纳入分析,确认提升来自能力本身,而非统计噪声。

🗳️ 读者观点微投票 · 您的实战立场是?
大模型涌现能力是真突破吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
⚡ 所属权威专题:OpenAI GPT 与 Sora 生态 →
  • GPT-5实测:OpenAI史上最强模型,如何重塑编程、写作与健康咨询?
  • 揭秘 OpenAI 至 2027 年打造通用人工智能的蓝图 [译]
  • GPT-5.2 发布:OpenAI 三大版本刷新 AI 能力天花板,编程、科学推理全面超越人类专家
  • ChatGPT 在编程中的有效性:与其他流行大语言模型的比较分析 [译]
🏛️ 宝玉的分享 · 前沿大模型翻译与提示词工程实战分享专栏,聚焦海外一手 AI 技术动态与工程实践。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
ChainIntelGPT
Aider – 开源AI编程助手,基于命令行指定自动完成代码修改
OpenSquilla – 开源的微内核 AI Agent 框架,可降低Token成本
VideoAgent – 斯坦福联合多所研究机构推出自改进的视频生成系统
Fox-1 – TensorOpera 开源的小语言模型系列
TAGGED:AI智能体ChatGPTOpenAI大模型微调
分享
Email 复制链接 打印
Share
宝玉的分享 头像
By宝玉的分享
Follow:
前沿大模型翻译与提示词工程实战分享专栏,聚焦海外一手 AI 技术动态与工程实践。
上一篇 一种名为“从少到多提示”的最新提示架构。 [1] 是时候开始讨论大语言模型中的提示架构了吗?[译]
下一篇 机器人流程图 GPT-4 Turbo 通过统一差异 (unified diffs) 更有效率地编程 [译]
Ad image
Ad image

最近更新

WordPress 7.2版本更新与默认随机重定向、Secrets API撤回及MCP核心能力拆解封面图
官方博客竟把关闭过滤器写错了!WordPress 7.2前瞻全拆解:默认/random/暗藏隐私与SEO风险、Secrets API紧急撤回与3项MCP只读能力落地
AI 工具
Anthropic上市募资与算力长约的隐喻:现金光环上升,数据中心暗链延伸,治理水晶承受张力与阻力冲击。
募资超1070亿美元却背负9000亿算力长约!Anthropic史上最大IPO背后的三大隐忧:1040亿年内亏损、地方抵制潮与PBC治理死结
AIGC 资讯
微软Copilot与Claude/ChatGPT价格战隐喻:发光玻璃表格堡垒守住Excel,数据流高效汇聚,企业AI竞争升级
3000万付费仅吃下4.5亿席位不到7%!微软Ignite正面叫板Claude与ChatGPT:月均30美元VS 205美元价格战与Excel保卫战全拆解
AIGC 资讯
联想AI推理时代的端边云全栈算力插画:玻璃拟态服务器核心发光,光流连接云端与边缘节点,呈现营收与订单增长动能。
AI营收暴涨80%且握5300亿服务器订单!联想Q2单季营收首破2000亿、净利狂飙166%:端边云全栈算力如何接住推理时代红利?
AIGC 资讯

相关推荐

Aria-UI – 港大联合 Rhymes AI 开源面向 GUI 智能交互的多模态模型
AIGC 资讯

Aria-UI – 港大联合 Rhymes AI 开源面向 GUI 智能交互的多模态模型

Prompt 语宙研究院
AI办公效率 AI智能体 AI编程 HuggingFace 开源大模型
Cody
AI 工具

Cody

remaker
AI办公效率 AI智能体 ChatGPT OpenAI RAG检索增强
编程与写作 [译]
强化 AI 学习

编程与写作 [译]

宝玉的分享
AI办公效率 AI智能体 AI编程 大模型微调
标签云中的词汇按大小顺序:ai, generativeai, llms, openai, chatgpt, projects, python, datasette, ethics, llama, homebrewllms, sqlite, gpt3, promptengineering, promptinjection, llm, security, opensource, gpt4, weeknotes
强化 AI 学习

2023 年 AI 领域的重大发现 [译]

宝玉的分享
Claude Llama OpenAI stable diffusion 大模型微调
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.