Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: DeepSeek发布mHC新架构:解决大规模训练不稳定性,性能全面超越传统超连接
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
DeepSeek发布mHC新架构:解决大规模训练不稳定性,性能全面超越传统超连接
Prompt 语宙 > AI 工具 > DeepSeek发布mHC新架构:解决大规模训练不稳定性,性能全面超越传统超连接
AI 工具AIGC 资讯

DeepSeek发布mHC新架构:解决大规模训练不稳定性,性能全面超越传统超连接

Prompt 语宙研究院
最近更新: 2026年6月7日 下午8:08
DeepSeek 基础模型 大规模训练 梯度消失 神经网络架构
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • mHC用流形约束重塑残差连接,核心目标是恢复恒等映射并稳定超大规模训练。
  • 借助Sinkhorn-Knopp将连接矩阵投影为双随机矩阵,抑制梯度爆炸/消失并规范信号传播。
  • 实验表明mHC在稳定性、收敛速度和BBH、DROP等任务上优于基线与HC,开销仅小幅增加。

💡 站外导读:随着基础模型参数规模突破千亿级,传统神经网络架构在超大规模训练中面临严重的信号不稳定、梯度消失与爆炸等问题,制约了模型能力的进一步提升。DeepSeek团队针对这一核心痛点,提出了名为mHC(流形约束超连接)的新型架构,旨在从底层信号传播机制上解决扩展性难题,为构建更强大、更稳定的基础模型铺平道路。

mHC是什么

mHC(Manifold-Constrained Hyper-Connections)是DeepSeek团队推出的新型的神经网络架构设计方法,解决传统超连接(Hyper-Connections, HC)架构在大规模训练中的稳定性问题。mHC通过将HC的残差连接空间投影到特定的流形上,恢复了残差连接的恒等映射特性,有效避免了梯度爆炸或消失的问题。mHC利用Sinkhorn-Knopp算法将残差连接矩阵投影到双随机矩阵构成的流形上,确保信号在传播过程中的均值保持不变,同时严格规范信号范数。mHC结合了高效的基础设施优化,如内核融合、选择性重计算和通信重叠等技术,确保在大规模模型中的高效实现。实验表明,mHC在训练稳定性、收敛速度和下游任务性能上均优于基线模型和HC,且在大规模训练中的时间开销仅略有增加。mHC作为一种通用框架,为深度学习架构设计提供了新的思路,有望推动下一代基础架构的演进。

阅读目录
  • mHC是什么
  • mHC的主要功能
  • mHC的技术原理
  • mHC的项目地址
  • mHC的应用场景
      • 📝 站长洞察 (Editor’s Insight)

mHC

mHC的主要功能

  • 恢复恒等映射特性:通过将残差连接空间投影到特定流形上,mHC恢复了残差连接的恒等映射特性,有效解决了传统超连接架构在多层扩展时导致的信号不稳定问题,显著提升了大规模训练的稳定性。
  • 流形约束与信号规范:利用双随机矩阵流形,mHC确保信号在传播过程中保持均值不变,并严格规范信号范数,有效避免了梯度爆炸或消失的问题,显著增强了信号传播的稳定性。
  • 高效基础设施优化:通过内核融合、选择性重计算和通信重叠等技术,mHC在大规模模型中实现了高效运行,仅引入极小的训练开销,确保了在实际应用中的高效性和可扩展性。
  • 提升模型性能:实验表明,mHC在多个下游任务中显著优于基线模型和传统超连接架构,特别是在复杂任务如BBH和DROP中表现突出,提升了模型的推理能力和整体性能。
  • 可扩展性与灵活性:mHC作为一种通用框架,适用于多种模型规模,为未来探索不同的流形约束提供了新的方向,有望推动下一代基础架构的演进。

mHC的技术原理

  • 流形投影:mHC通过将残差连接矩阵投影到特定的流形空间(如双随机矩阵的Birkhoff多面体)来约束连接矩阵的性质。这种投影确保了信号在传播过程中保持稳定,同时保留了信息交互的能力。
  • 双随机矩阵的应用:双随机矩阵具有行和列之和均为1的特性,使信号在传播时保持均值不变,严格规范信号范数,有效避免梯度爆炸或消失的问题。
  • Sinkhorn-Knopp算法:mHC利用Sinkhorn-Knopp算法实现对残差连接矩阵的流形投影。通过迭代归一化行和列,将任意非负矩阵调整为双随机矩阵,实现稳定的信号传播。
  • 恒等映射的恢复:通过流形约束,mHC恢复了残差连接的恒等映射特性,确保信号在多层网络中稳定传播,解决了传统超连接架构中因缺乏恒等映射而导致的训练不稳定性。
  • 高效计算与优化:mHC结合了内核融合、混合精度计算、选择性重计算等技术,优化了计算效率,降低了内存访问开销,使得该架构在大规模模型训练中具有较高的效率和可扩展性。
  • 信号传播的稳定性:mHC通过约束残差连接矩阵,确保信号在前向传播和反向传播过程中保持稳定,显著降低了信号增益的极端值,提高了模型训练的稳定性和收敛速度。

mHC的项目地址

  • arXiv技术论文:https://arxiv.org/pdf/2512.24880

mHC的应用场景

  • 大规模语言模型预训练:mHC能有效提升语言模型在大规模数据集上的训练稳定性,适用于27B等超大规模语言模型的预训练任务,显著改善模型的收敛速度和性能表现。
  • 多任务学习与推理:在涉及多种下游任务(如BBH、DROP、GSM8K等)的场景中,mHC通过增强模型的推理能力和稳定性,帮助模型在复杂任务中取得更好的成绩,提升多任务学习的效率。
  • 高效分布式训练:mHC结合优化的基础设施设计,如内核融合和通信重叠,适用于分布式训练环境,尤其在大规模集群中能显著降低训练开销,提高训练效率。
  • 下一代架构演进:mHC作为一种通用框架,为探索新型神经网络架构提供了基础,支持研究者在不同的流形约束和优化策略下进行创新,推动下一代基础架构的演进。
  • 资源受限环境:由于mHC在保持性能的同时引入的计算开销极小,适用于资源受限的环境,如移动设备或边缘计算场景,能在有限的计算资源下实现高效的模型部署。
  • 学术研究与理论探索:mHC为研究深度学习中的信号传播和架构设计提供了新的视角,适用于学术研究中对神经网络拓扑结构和优化策略的深入探索。

📝 站长洞察 (Editor’s Insight)

mHC的提出,标志着深度学习架构设计正从经验主义向更严格的数学约束范式演进。它将残差连接的优化置于“流形约束”这一更高维度的思考框架下,这不仅是对现有HC架构的修补,更是一次深刻的范式探索。在AGI竞赛白热化的当下,架构的稳定性与可扩展性已成为决定胜负的隐形基石。DeepSeek此举,不仅展示了其深厚的理论功底,更精准地瞄准了行业下一步规模化发展的“卡脖子”环节。这或将引发新一轮关于“如何为超级模型设计稳定骨架”的技术竞赛,其影响将从学术界迅速蔓延至所有致力于训练前沿模型的企业。

🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
DeepSeek ↗
DeepSeek 是由幻方量化公司推出的 AI 智能助手和开源大模型平台。其核心功能包括提供世界级推理能力的 A
❓ 常见问题解答(FAQ)
mHC和传统超连接HC有什么区别?

mHC是在HC基础上加入流形约束的改进架构,通过把残差连接矩阵投影到双随机矩阵流形,恢复恒等映射特性,从而提升大规模训练稳定性;传统HC则更容易在超大规模训练中出现信号不稳定问题。

mHC为什么能缓解梯度消失或爆炸?

mHC利用Sinkhorn-Knopp算法将残差连接矩阵约束为双随机矩阵,使信号传播时均值保持不变并严格规范范数,进而降低前向和反向传播中的极端增益,缓解梯度消失或爆炸。

mHC适合哪些模型训练场景?

文中指出mHC适用于大规模语言模型预训练、多任务推理、高效分布式训练以及资源受限部署等场景,尤其适合27B等超大规模模型和需要稳定收敛的复杂任务。

🔬 语宙深潜追问 · 进阶实操拆解
流形约束为什么能稳住训练?

它把表示限制在更有结构的流形上,减少无效自由度,配合双随机矩阵约束可抑制梯度异常传播。直观上就是让网络别在高维空间里乱跑,从而降低发散和震荡风险。

额外开销略增,值得换架构吗?

如果你的痛点是大规模训练不稳定、收敛慢或复现实验波动大,这类架构值得试。建议先在中等规模任务上做 A/B,对比收敛速度、最终指标和训练失败率,再决定是否全面替换。

🗳️ 读者观点微投票 · 您的实战立场是?
mHC真能解决超大模型训练不稳定吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • 中科院SpikingBrain-1.0发布:类脑脉冲大模型突破Transformer瓶颈,效率飙升开启自主可控AI新纪元
  • MDM – 苹果推出开源的新型扩散模型框架
  • DeepSeek Model1 全解析:V4 代号曝光,回归 512 维架构适配 Blackwell 引领 AI 新范式
  • 上海AI Lab开源XTuner V1:支持1T参数MoE模型训练,显存吞吐双杀传统方案
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
Spotify与环球音乐联手:AI翻唱混音工具上线,正版版权终结Suno野蛮生长
AI Pet Photos
DeepEP – DeepSeek 开源的专家并行通信库,专为 MoE 训练和推理设计
H-Optimus-0 – 法国初创公司Bioptimus开源的病理学AI基础模型
OpenDeepResearcher – 开源 AI 研究工具,自动完成搜索、评估、提取和报告生成
TAGGED:DeepSeek基础模型大规模训练梯度消失神经网络架构
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 IQuest-Coder-V1开源!128K上下文+循环架构,40B参数挑战顶尖代码大模型 IQuest-Coder-V1开源!128K上下文+循环架构,40B参数挑战顶尖代码大模型
下一篇 RedInk:开源免费AI小红书图文生成工具,一键生成爆款内容,提升创作效率 RedInk:开源免费AI小红书图文生成工具,一键生成爆款内容,提升创作效率
Ad image
Ad image

最近更新

Latent Space 对话 Black Forest Labs 核心创始人 Andreas Blattmann 与 Dustin Podell:从 FLUX 到视觉智能与世界动作模型
视觉智能为什么不能只靠静态图片?对话Black Forest Labs创始人:FLUX 3音画联合训练、扩散与自回归之争及世界动作模型全拆解
强化 AI 学习
Google 官方详解网站迁移至 CDN 如何避免爬虫流量激增打崩源站与误封 Googlebot 导致搜索掉收录
刚切上CDN源站反被爬虫打崩?Google官方拆解迁移翻车悖论:冷缓存雪崩、验证码误杀与预热止血指南
AI 工具
GitHub 正式上线 Repository insights 页面,集中展示 Copilot 代码审查采纳率与评论分类统计结果
AI代码审查到底有没有被采纳?GitHub上线Repository insights与repos-1-day API:四维信号、力度趋势及统计陷阱全拆解
AI 工具
Forrester AI 颠覆评估模型 17 大技术与服务品类分布图:呈现受颠覆、中立、争夺与加速四类市场象限及细分赛道数量
80%技术市场面临AI重塑冲击!Forrester拆解200+细分赛道颠覆矩阵:四大象限与Top 20合同采购谈判实战
最新趋势

相关推荐

商汤开源空间智能大模型SenseNova-SI:超越GPT-5,定义AI理解三维世界新标准
AI 工具AIGC 资讯

商汤开源空间智能大模型SenseNova-SI:超越GPT-5,定义AI理解三维世界新标准

Prompt 语宙研究院
SenseNova-SI 具身智能 商汤科技 开源大模型 空间智能
GLM-Z1-Air – 智谱推出的深度思考模型
AIGC 资讯

GLM-Z1-Air – 智谱推出的深度思考模型

Prompt 语宙研究院
AI智能体 AI编程 DeepSeek 开源大模型 智谱AI
AgentScope – 阿里开源的多智能体开发平台
AIGC 资讯

AgentScope – 阿里开源的多智能体开发平台

Prompt 语宙研究院
AI智能体 AI编程 RAG检索增强 通义千问 零代码
UNO – 字节跳动推出的创新AI图像生成框架
AIGC 资讯

UNO – 字节跳动推出的创新AI图像生成框架

Prompt 语宙研究院
Flux HuggingFace stable diffusion 大模型微调 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.