# DeepSeek发布mHC新架构：解决大规模训练不稳定性，性能全面超越传统超连接

- Link: https://paooo.com/aigc-news/12186/
- Published: 2026-06-13T21:42:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * mHC用流形约束重塑残差连接，核心目标是恢复恒等映射并稳定超大规模训练。
 * 借助Sinkhorn-Knopp将连接矩阵投影为双随机矩阵，抑制梯度爆炸/消失并规范信号传播。
 * 实验表明mHC在稳定性、收敛速度和BBH、DROP等任务上优于基线与HC，开销仅小幅增加。

> **💡 站外导读：**随着基础模型参数规模突破千亿级，传统神经网络架构在超大规模训练
> 中面临严重的信号不稳定、梯度消失与爆炸等问题，制约了模型能力的进一步提升。DeepSeek
> 团队针对这一核心痛点，提出了名为mHC（流形约束超连接）的新型架构，旨在从底层信号
> 传播机制上解决扩展性难题，为构建更强大、更稳定的基础模型铺平道路。

## mHC是什么

mHC（Manifold-Constrained Hyper-Connections）是[DeepSeek](https://paooo.com/?s=DeepSeek)
团队推出的新型的神经网络架构设计方法，解决传统超连接（Hyper-Connections, HC）架构
在大规模训练中的稳定性问题。mHC通过将HC的残差连接空间投影到特定的流形上，恢复了残
差连接的恒等映射特性，有效避免了梯度爆炸或消失的问题。mHC利用Sinkhorn-Knopp算法将
残差连接矩阵投影到双随机矩阵构成的流形上，确保信号在传播过程中的均值保持不变，同时
严格规范信号范数。mHC结合了高效的基础设施优化，如内核融合、选择性重计算和通信重叠
等技术，确保在大规模模型中的高效实现。实验表明，mHC在训练稳定性、收敛速度和下游任务
性能上均优于基线模型和HC，且在大规模训练中的时间开销仅略有增加。mHC作为一种通用框架，
为深度学习架构设计提供了新的思路，有望推动下一代基础架构的演进。

阅读目录

 * [mHC是什么](https://paooo.com/aigc-news/12186/#mhc%e6%98%af%e4%bb%80%e4%b9%88)
 * [mHC的主要功能](https://paooo.com/aigc-news/12186/#mhc%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [mHC的技术原理](https://paooo.com/aigc-news/12186/#mhc%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [mHC的项目地址](https://paooo.com/aigc-news/12186/#mhc%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [mHC的应用场景](https://paooo.com/aigc-news/12186/#mhc%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/12186/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![mHC](https://paooo.com/wp-content/uploads/2026/05/mHC-website-1.avif)

## mHC的主要功能

 * **恢复恒等映射特性**：通过将残差连接空间投影到特定流形上，mHC恢复了残差连接的
   恒等映射特性，有效解决了传统超连接架构在多层扩展时导致的信号不稳定问题，显著提升
   了大规模训练的稳定性。
 * **流形约束与信号规范**：利用双随机矩阵流形，mHC确保信号在传播过程中保持均值不变，
   并严格规范信号范数，有效避免了梯度爆炸或消失的问题，显著增强了信号传播的稳定性。
 * **高效基础设施优化**：通过内核融合、选择性重计算和通信重叠等技术，mHC在大规模
   模型中实现了高效运行，仅引入极小的训练开销，确保了在实际应用中的高效性和可扩展
   性。
 * **提升模型性能**：实验表明，mHC在多个下游任务中显著优于基线模型和传统超连接架构，
   特别是在复杂任务如BBH和DROP中表现突出，提升了模型的推理能力和整体性能。
 * **可扩展性与灵活性**：mHC作为一种通用框架，适用于多种模型规模，为未来探索不同
   的流形约束提供了新的方向，有望推动下一代基础架构的演进。

## mHC的技术原理

 * **流形投影**：mHC通过将残差连接矩阵投影到特定的流形空间（如双随机矩阵的Birkhoff
   多面体）来约束连接矩阵的性质。这种投影确保了信号在传播过程中保持稳定，同时保留
   了信息交互的能力。
 * **双随机矩阵的应用**：双随机矩阵具有行和列之和均为1的特性，使信号在传播时保持
   均值不变，严格规范信号范数，有效避免梯度爆炸或消失的问题。
 * **Sinkhorn-Knopp算法**：mHC利用Sinkhorn-Knopp算法实现对残差连接矩阵的流形投影。
   通过迭代归一化行和列，将任意非负矩阵调整为双随机矩阵，实现稳定的信号传播。
 * **恒等映射的恢复**：通过流形约束，mHC恢复了残差连接的恒等映射特性，确保信号在
   多层网络中稳定传播，解决了传统超连接架构中因缺乏恒等映射而导致的训练不稳定性。
 * **高效计算与优化**：mHC结合了内核融合、混合精度计算、选择性重计算等技术，优化
   了计算效率，降低了内存访问开销，使得该架构在大规模模型训练中具有较高的效率和可
   扩展性。
 * **信号传播的稳定性**：mHC通过约束残差连接矩阵，确保信号在前向传播和反向传播过程
   中保持稳定，显著降低了信号增益的极端值，提高了模型训练的稳定性和收敛速度。

## mHC的项目地址

 * **arXiv技术论文**：https://arxiv.org/pdf/2512.24880

## mHC的应用场景

 * **大规模语言模型预训练**：mHC能有效提升语言模型在大规模数据集上的训练稳定性，
   适用于27B等超大规模语言模型的预训练任务，显著改善模型的收敛速度和性能表现。
 * **多任务学习与推理**：在涉及多种下游任务（如BBH、DROP、GSM8K等）的场景中，mHC
   通过增强模型的推理能力和稳定性，帮助模型在复杂任务中取得更好的成绩，提升多任务
   学习的效率。
 * **高效分布式训练**：mHC结合优化的基础设施设计，如内核融合和通信重叠，适用于分布
   式训练环境，尤其在大规模集群中能显著降低训练开销，提高训练效率。
 * **下一代架构演进**：mHC作为一种通用框架，为探索新型神经网络架构提供了基础，支持
   研究者在不同的流形约束和优化策略下进行创新，推动下一代基础架构的演进。
 * **资源受限环境**：由于mHC在保持性能的同时引入的计算开销极小，适用于资源受限的
   环境，如移动设备或边缘计算场景，能在有限的计算资源下实现高效的模型部署。
 * **学术研究与理论探索**：mHC为研究深度学习中的信号传播和架构设计提供了新的视角，
   适用于学术研究中对神经网络拓扑结构和优化策略的深入探索。

#### 📝 站长洞察 (Editor’s Insight)

mHC的提出，标志着深度学习架构设计正从经验主义向更严格的数学约束范式演进。它将残差
连接的优化置于“流形约束”这一更高维度的思考框架下，这不仅是对现有HC架构的修补，更是
一次深刻的范式探索。在AGI竞赛白热化的当下，架构的稳定性与可扩展性已成为决定胜负的
隐形基石。DeepSeek此举，不仅展示了其深厚的理论功底，更精准地瞄准了行业下一步规模
化发展的“卡脖子”环节。这或将引发新一轮关于“如何为超级模型设计稳定骨架”的技术竞赛，
其影响将从学术界迅速蔓延至所有致力于训练前沿模型的企业。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**DeepSeek ↗**

DeepSeek 是由幻方量化公司推出的 AI 智能助手和开源大模型平台。其核心功能包括提供世界
级推理能力的 A

❓ 常见问题解答（FAQ）

mHC和传统超连接HC有什么区别？

mHC是在HC基础上加入流形约束的改进架构，通过把残差连接矩阵投影到双随机矩阵流形，恢复
恒等映射特性，从而提升大规模训练稳定性；传统HC则更容易在超大规模训练中出现信号不
稳定问题。

mHC为什么能缓解梯度消失或爆炸？

mHC利用Sinkhorn-Knopp算法将残差连接矩阵约束为双随机矩阵，使信号传播时均值保持不变
并严格规范范数，进而降低前向和反向传播中的极端增益，缓解梯度消失或爆炸。

mHC适合哪些模型训练场景？

文中指出mHC适用于大规模语言模型预训练、多任务推理、高效分布式训练以及资源受限部署
等场景，尤其适合27B等超大规模模型和需要稳定收敛的复杂任务。

🔬 语宙深潜追问 · 进阶实操拆解

流形约束为什么能稳住训练？

它把表示限制在更有结构的流形上，减少无效自由度，配合双随机矩阵约束可抑制梯度异常
传播。直观上就是让网络别在高维空间里乱跑，从而降低发散和震荡风险。

额外开销略增，值得换架构吗？

如果你的痛点是大规模训练不稳定、收敛慢或复现实验波动大，这类架构值得试。建议先在
中等规模任务上做 A/B，对比收敛速度、最终指标和训练失败率，再决定是否全面替换。

🗳️ 读者观点微投票 · 您的实战立场是？

mHC真能解决超[大模型](https://paooo.com/ai-study/)训练不稳定吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [中科院SpikingBrain-1.0发布：类脑脉冲大模型突破Transformer瓶颈，效率飙升开启自主可控AI新纪元](https://paooo.com/aigc-news/13944/)
 * [MDM – 苹果推出开源的新型扩散模型框架](https://paooo.com/aigc-news/26188/)
 * [DeepSeek Model1 全解析：V4 代号曝光，回归 512 维架构适配 Blackwell 引领 AI 新范式](https://paooo.com/aigc-news/12213/)
 * [上海AI Lab开源XTuner V1：支持1T参数MoE模型训练，显存吞吐双杀传统方案](https://paooo.com/aigc-news/13676/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/12186/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
