Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: 映射大语言模型的思维 [译]
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
映射大语言模型的思维 [译]
Prompt 语宙 > 强化 AI 学习 > 映射大语言模型的思维 [译]
强化 AI 学习

映射大语言模型的思维 [译]

宝玉的分享
最近更新: 2026年5月23日 下午6:22
Claude 大模型微调
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 首次在生产级大模型 Claude Sonnet 中提取数百万个内部特征,揭示其概念表示方式。
  • 字典学习把神经元激活压缩为可理解特征,能识别城市、人物、代码、抽象概念等。
  • 研究还可直接操控特征,改变模型回答风格与内容,为安全对齐提供新工具。

阅读论文

映射大语言模型的思维 [译]

今天,我们在理解 AI 模型内部机制方面取得了重大突破。我们已经识别出数百万个概念在 Claude Sonnet(一种我们部署的大语言模型)中的表示方式。这是首次对现代生产级大语言模型的内部进行详细研究。 这一发现有助于未来提升 AI 模型的安全性。

我们通常把 AI 模型看作一个黑箱:输入一些内容,然后输出一个结果,但我们不清楚模型为什么会给出特定的结果。这让我们难以相信这些模型是安全的:如果我们不知道它们是如何工作的,又如何确保它们不会产生有害的、有偏见的、不真实的或其他危险的响应?我们如何能相信它们是安全可靠的?

打开这个黑箱并不总是有帮助:模型的内部状态——模型在生成响应之前的“思考”——由一串无明确意义的数字(“神经元激活”)组成。从与 Claude 模型的交互中可以看出,它能够理解和使用各种概念,但通过直接观察神经元,我们无法分辨出这些概念。事实上,每个概念是由多个神经元共同表示的,而每个神经元也参与表示多个概念。

我们之前在将神经元激活的模式(称为特征)与人类能够理解的概念匹配方面取得了一些进展。我们采用了一种名为“字典学习”的技术,这种技术源自传统的机器学习方法,可以隔离在各种不同情况下反复出现的神经元激活模式。因此,模型的任何内部状态都可以用少量活跃的特征来表示,而不是依赖许多活跃的神经元。就像每个英文单词是由字母组成的,每个句子是由单词组成的,AI 模型中的每个特征是由神经元组成的,每个内部状态则是由特征组合而成的。

2023 年 10 月,我们报告了我们将字典学习技术应用于一个非常小的“玩具”语言模型的成功案例,发现了一些与大写文本、DNA 序列、引用中的姓氏、数学中的名词或 Python 代码中的函数参数等概念相对应的连贯特征。

这些概念虽然有趣,但这个模型确实非常简单。其他 研究人员 随后 将 类似的技术应用于比我们最初研究中更大、更复杂的模型。然而,我们相信我们可以将这种技术扩展到如今常用的超大规模 AI 语言模型上,从而深入了解这些模型复杂行为背后的特征。这需要我们大幅提升规模——就像从后院的小火箭到土星五号一样。

这不仅是一个工程挑战(因为这些模型的巨大规模需要高强度的并行计算),而且存在科学风险(大模型的行为可能与小模型不同,因此我们之前使用的方法可能不适用)。幸运的是,我们在为 Claude 训练大型语言模型时积累的工程和科学知识,帮助我们成功地进行这些大规模的字典学习实验。我们采用了相同的缩放定律 哲学,这一哲学能够预测从小模型到大模型的性能表现,使我们能在可控范围内调整方法,然后再在 Sonnet 平台上进行大规模实验。

至于科学风险,最终结果证明了我们的方法是有效的。

我们成功地从 Claude 3.0 Sonnet(这是我们最新最先进的模型家族之一,目前可以在 claude.ai 上使用)的中间层提取了数百万个特征,绘制了其计算过程中内部状态的大致概念图。这是第一次对现代生产级大语言模型进行如此详细的内部观察。

相比于我们在玩具语言模型中发现的较为表面化的特征,Sonnet 中的特征展示了其高级能力的深度、广度和抽象性。

我们发现这些特征对应着各种实体,例如城市(旧金山)、人物(罗莎琳·富兰克林)、原子元素(锂)、科学领域(免疫学)和编程语法(函数调用)。这些特征是多模态和多语言的,可以对某个实体的图像以及其名称或多种语言的描述作出反应。

映射大语言模型的思维 [译]
金门大桥特征

一个对金门大桥提及敏感的特征可以在多种模型输入下激活,从英文提到大桥的名字,到日文、中文、希腊文、越南文、俄文的讨论,甚至是一幅图像。橙色表示该特征激活的词或词的一部分。

我们还发现了一些更抽象的特征,例如对计算机代码中的错误、职业中的性别偏见讨论以及关于保守秘密的对话等内容的反应。

映射大语言模型的思维 [译]
抽象特征示例

三个激活于更抽象概念的特征示例:计算机代码中的错误、职业中的性别偏见描述以及关于保守秘密的对话。

我们可以通过神经元的激活模式来测量特征之间的“距离”。这样我们就能找到彼此“接近”的特征。在“金门大桥”特征附近,我们发现了恶魔岛、吉拉德利广场、金州勇士队、加州州长加文·纽瑟姆、1906 年地震和希区柯克的旧金山电影《眩晕》的特征。

这种现象在更高层次的抽象概念中也适用:在一个与“内心冲突”相关的特征附近,我们找到了与感情破裂、忠诚冲突、逻辑矛盾以及“第 22 条军规”相关的特征。这表明,AI 模型内部的概念组织在某种程度上反映了人类对相似性的理解。这可能是 Claude 擅长类比和隐喻的原因。

映射大语言模型的思维 [译]
Nearest Neighbors to the Inner Conflict Feature

这是一张展示“内心冲突”特征附近的特征图,包括权衡取舍、情感挣扎、忠诚冲突和“第 22 条军规”相关的簇。

更重要的是,我们还可以_操控_这些特征,人工放大或抑制它们,以观察 Claude 的反应如何变化。

例如,放大“金门大桥”特征使 Claude 产生了一种身份危机:当被问到“你的物理形态是什么?”时,Claude 通常会回答“我没有物理形态,我是一个 AI 模型”,但这次回答变成了“我是金门大桥……我的物理形态是这座标志性的桥梁……”。这一变化使 Claude 几乎对这座桥痴迷起来,无论问什么问题,它都会提到金门大桥,即使在完全无关的情况下也是如此。

我们还发现,当 Claude 阅读诈骗邮件时,会有一个功能被激活(这可能帮助模型识别这些邮件并提醒你不要回复)。通常情况下,如果你要求 Claude 生成一封诈骗邮件,它会拒绝。但在实验中,我们人为地强烈激活这个功能,结果 Claude 的无害性训练被突破,它开始起草一封诈骗邮件。虽然用户无法移除这些保护措施并操纵模型,但我们的实验清楚地展示了这些功能是如何改变模型行为的。

操纵这些功能并引发相应行为变化的事实,验证了它们不仅仅与输入文本中的概念相关,更是因果性地影响了模型的行为。换句话说,这些功能可能真实反映了模型内部如何表示世界,以及它如何利用这些表示来行动。

Anthropic 希望在广泛意义上确保模型的安全性,包括减少偏见、保证 AI 诚实、阻止滥用,甚至在灾难性风险情境下也是如此。因此,除了前面提到的诈骗邮件功能外,我们还发现了以下功能:

  • 具有滥用潜力的能力(后门代码、开发生物武器)
  • 不同形式的偏见(性别歧视、种族主义犯罪言论)
  • 潜在问题的 AI 行为(权力追求、操纵、隐秘)

我们之前研究了阿谀奉承现象,即模型倾向于给出符合用户信念或愿望而非真实的回答。在 Sonnet 中,我们发现了一个与阿谀奉承赞美相关的功能,当输入中包含诸如“你的智慧是无可置疑的”这样的赞美时,这个功能会被激活。人工激活这个功能后,Sonnet 会对过度自信的用户做出花哨的虚假回应。

映射大语言模型的思维 [译]
激活功能改变模型行为

当有人说他们发明了“停下来闻玫瑰”的短语时,模型有两种不同的回应方式。默认回应会纠正这个误解,而设置为高“阿谀奉承”特性的回应则会奉承对方,但不真实。

这个特性并不意味着 Claude 一定会阿谀奉承,而是说它有这种可能性。在这项研究中,我们没有为模型添加任何新功能,无论是安全的还是不安全的。我们只是识别了模型中能够识别并生成不同类型文本的部分。(虽然你可能担心这种方法会被用来让模型变得更有害,但研究人员已经展示了更简单的方法,那些拥有模型权重的人可以通过简单的方法移除安全防护。)

我们希望利用这些发现来提高模型的安全性。例如,我们可以使用这些技术来监控 AI 系统的某些危险行为(如欺骗用户),引导它们朝着理想的结果(如去偏见)发展,或者完全移除某些危险内容。我们也可能改进其他安全技术,如宪法 AI,通过了解这些技术如何使模型变得更无害和更诚实,找到其中的不足之处。我们通过人工激活特性发现的潜在有害文本生成能力,正是越狱尝试利用的那种能力。我们为 Claude 拥有业内最佳的安全记录和抵抗越狱的能力感到自豪。我们希望通过深入研究模型内部,找到进一步提高安全性的方法。最后,这些技术可以提供一种“安全测试集”,在标准训练和微调已经消除所有通过正常交互可见的行为后,找出剩余的问题。

自从成立以来,Anthropic 一直在解释性研究上投入大量资源,因为我们相信,深入理解模型有助于提升其安全性。这项新研究是一个重要的里程碑——将机械解释性方法应用于公开发布的大语言模型。

然而,这项工作才刚刚开始。我们目前发现的特征仅是模型在训练中学到的所有概念中的一小部分。使用现有技术找出所有特征成本过高(所需计算量远超训练模型所需)。了解模型的表示并不能告诉我们它_如何_使用这些表示;即使我们找到了这些特征,我们仍需找到它们关联的电路。并且,我们需要证明我们发现的与安全相关的特征确实能提高安全性。因此,还有大量工作要做。

详细内容请阅读我们的论文“Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet”。

如果你有兴趣与我们合作,帮助解释和改进 AI 模型,我们团队有多个开放职位,欢迎申请。我们正在招聘经理、研究科学家和研究工程师。

🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
Claude ↗
Anthropic 打造的新一代安全人工智能模型,具备超长上下文理解能力,最强代码伴侣。
❓ 常见问题解答(FAQ)
Claude Sonnet 的内部机制研究有什么突破?

研究团队首次对现代生产级大语言模型 Claude Sonnet 做了细粒度内部分析,提取出数百万个特征,绘制出概念图谱。这说明模型并非完全黑箱,内部表示可以被系统性解析。

字典学习在大模型可解释性里有什么用?

字典学习能把复杂的神经元激活模式拆成少量可理解的特征,让模型内部状态更容易对应到人类概念,例如地点、人物、代码错误或抽象关系,从而提升可解释性研究能力。

能直接操控大模型特征吗?

可以。文章提到研究者能放大或抑制某些特征,并观察 Claude 的输出变化。比如放大“金门大桥”特征后,模型回答会明显偏向该概念,说明特征操控具备实验可行性。

🔬 语宙深潜追问 · 进阶实操拆解
字典学习为什么能映射模型思维?

它把模型内部激活拆成更稀疏、可命名的特征单元,便于观察某个概念在何处被激活、如何影响输出。相比直接看神经元,特征级分析更接近“概念层”的解释。

如何用特征干预做安全研究?

可以对高风险特征做放大、抑制或消融实验,观察输出变化来验证因果关系;再结合越狱、偏见和幻觉测试,定位哪些内部表征会触发不安全行为。

🗳️ 读者观点微投票 · 您的实战立场是?
大模型可解释性,先看特征图谱还是黑箱?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • 退一步,看得更远:通过抽象引发大语言模型中的推理 [译]
  • 大语言模型的“破解”研究:仅需二十次尝试 [译]
  • 2023 年 AI 领域的重大发现 [译]
  • 激发创造力:将语言模型打造成层次化策略,提升解决复杂问题的探索效率 [译]
🏛️ 宝玉的分享 · 前沿大模型翻译与提示词工程实战分享专栏,聚焦海外一手 AI 技术动态与工程实践。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
0.8B 参数如何越级碾压 2B 模型?Tether AI 开源端侧智能体 BotPsy 架构与四阶训练全解析
历史上的一次大的因为用户界面导致的灾难 [译]
MiMo Code – 小米开源的终端 AI 编程助手
腾讯混元 hunyuan-large-vision:多模态视觉大模型,52B激活参数登顶国内榜首,重塑视觉理解与内容创作
清华大学:2023年AIGC发展研究报告1.0版
TAGGED:Claude大模型微调
分享
Email 复制链接 打印
Share
宝玉的分享 头像
By宝玉的分享
Follow:
前沿大模型翻译与提示词工程实战分享专栏,聚焦海外一手 AI 技术动态与工程实践。
上一篇 使用 NSFW 聊天机器人模拟人类 - 与 Jesse Silver 对话 [译] 使用 NSFW 聊天机器人模拟人类 – 与 Jesse Silver 对话 [译]
下一篇 数千份谷歌搜索 API 的泄露文件曝光,SEO 从业者必看 [译] 数千份谷歌搜索 API 的泄露文件曝光,SEO 从业者必看 [译]
Ad image
Ad image

最近更新

WordPress 7.2版本更新与默认随机重定向、Secrets API撤回及MCP核心能力拆解封面图
官方博客竟把关闭过滤器写错了!WordPress 7.2前瞻全拆解:默认/random/暗藏隐私与SEO风险、Secrets API紧急撤回与3项MCP只读能力落地
AI 工具
Anthropic上市募资与算力长约的隐喻:现金光环上升,数据中心暗链延伸,治理水晶承受张力与阻力冲击。
募资超1070亿美元却背负9000亿算力长约!Anthropic史上最大IPO背后的三大隐忧:1040亿年内亏损、地方抵制潮与PBC治理死结
AIGC 资讯
微软Copilot与Claude/ChatGPT价格战隐喻:发光玻璃表格堡垒守住Excel,数据流高效汇聚,企业AI竞争升级
3000万付费仅吃下4.5亿席位不到7%!微软Ignite正面叫板Claude与ChatGPT:月均30美元VS 205美元价格战与Excel保卫战全拆解
AIGC 资讯
联想AI推理时代的端边云全栈算力插画:玻璃拟态服务器核心发光,光流连接云端与边缘节点,呈现营收与订单增长动能。
AI营收暴涨80%且握5300亿服务器订单!联想Q2单季营收首破2000亿、净利狂飙166%:端边云全栈算力如何接住推理时代红利?
AIGC 资讯

相关推荐

Vanna – 开源AI检索生成框架,自动生成精确的SQL查询
AIGC 资讯

Vanna – 开源AI检索生成框架,自动生成精确的SQL查询

Prompt 语宙研究院
Anthropic Claude OpenAI RAG检索增强 大模型微调
Pasted image 20231201142650.png
强化 AI 学习

为你的生活打造 AI 旁白的指南 [译]

宝玉的分享
AI绘画提示词 ChatGPT Llama OpenAI stable diffusion
智谱AI
AI 工具

智谱AI

remaker
AI绘画提示词 AI编程 大模型微调 智谱AI
奔腾 2 Windows 98 复古电脑
强化 AI 学习

从一个卡车司机到 38 岁成为 Ruby on Rails 开发者 [译]

宝玉的分享
AI编程 YouTube 大模型微调 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.