💡 站外导读:11月20日,腾讯混元正式将770B旗舰大模型Hy4权重上线GitHub与Hugging Face等四大平台,完成混元LLM全系列开源。本次释放涵盖770B MoE主干、FP8版与Base预训练基座,同步公开Gated DSA稀疏注意力、内置3.3B DFly2投机解码架构及vLLM/SGLang镜像,并随附玄武与科恩实验室审计的System Card安全报告。

一、 混元 LLM 全系正式集齐:770B 旗舰开源与百万上下文双线矩阵
继 11 月 4 日正式发布 Hy4 旗舰版、11 月 18 日率先放出高性价比 Hy4-flash 家族后,腾讯混元团队于 11 月 20 日正式兑现全量开源承诺:将 Hy4(770B 总参数)、Hy4-FP8 量化版以及从零预训练的 Hy4 Base 模型权重同步上架 GitHub(Tencent-Hunyuan/Hy4)、Hugging Face、ModelScope 与 GitCode 四大开源社区,并同步提供用于端到端本地验证的 GGUF 压缩版本。
至此,混元大语言模型家族实现了 Hy3 preview、Hy3、Hy4 preview、Hy4 及 Hy4 flash 的全系列开源集齐,形成“770B 复杂推理旗舰 + 224B 高并发性价比底座”的完整双线供给体系。在多模态输入方面,Hy4 借助支持动态图像分辨率的 ViT 与特征适配器,可将图像与视频帧转为视觉 Token,实现文本、图片与视频的统一上下文理解。
二、 架构硬核拆解:78 层 MoE、Gated DSA 与零额外显存的 DFly2 投机解码
深入官方 GitHub 仓库披露的模型拓扑,Hy4 的语言主干采用精细化的混合专家(MoE)架构设计:全模型共 78 层,其中第 1 层保留标准 Dense FFN,其余 77 层全部采用 MoE FFN;每个 MoE 层配置 256 个路由专家(routed experts)和 1 个共享专家(shared expert),推理时每个 Token 仅激活 Top-8 路由专家加共享专家,使得总参数高达 770B 的旗舰模型每次前向计算仅激活 49B 参数,兼顾超大规模知识容量与百万 Token 级上下文承载力。
更值得推理引擎工程师关注的是其注意力与残差创新:Hy4 在注意力层引入了受 DeepSeek 与 GLM 启发的 Gated DeepSeek Sparse Attention(Gated DSA),配合 IndexCache 实现跨层稀疏索引复用,残差通路则采用 iHC(identity Hyper-Connections) 扩展跨层信息流动。同时,模型内建了一个 5 层、3.3B 参数的并行草稿模型 DFly2(基于 AngelSpec 训练),直接共享对应 Hy4 DSA 层的 KV Cache(KV Share)与 Top-2048 稀疏索引位置(Index Share),从而带来了三大工程红利:
- 恒定计算开销:无论上下文拉长到何种尺度,每个草稿 Token 最多仅关注约 2K 个 Key;
- 零额外 KV 显存:无需为投机解码器单独开辟并维护一套 KV Cache;
- 原生适配 PD 分离:草稿器不参与 Prefill 阶段,Prefill 向 Decode 节点传输时仅需额外附带一层末层隐藏状态(hidden state)。

| 核心技术维度 | Hy4 旗舰开源版 (本次重点) | Hy4-flash 高性价比版 (同系矩阵) | 推理与工程落地价值 |
|---|---|---|---|
| 参数规模与激活量 | 总参数 770B / 单 Token 激活 49B (78层 MoE) | 总参数 224B(含 64B Engram)/ 激活 12B | 按复杂推理 vs 高频日常场景分层选型,避免算力错配 |
| 注意力与上下文窗口 | Gated DSA + IndexCache + iHC,支持 1M Token | 混合注意力 + LatentMoE + Engram,同样支持 1M Token | 长文本场景下大幅压低 KV Cache 显存占用的同时保持召回率 |
| 加速与压缩工具链 | 内置 3.3B DFly2 投机解码 + AngelSlim + GGUF | 标准版 / FP8 / Base / GGUF,解码突破 150 TPS | 支持 vLLM 与 SGLang 官版镜像开箱即用,天然契合 PD 分离 |
| 多模态与开源阵营 | 动态 ViT 支持文本/图像/视频,四平台同步上线 | 支持多模态输入,单任务成本较 preview 版大幅下探 | 覆盖从云端多卡集群到本地端侧量化验证的全链路部署 |
三、 金融、游戏与科研垂类实测:幻觉率砍至 5.45% 与坦诚的能力边界
不同于只晒通用榜单刷分的做法,Hy4 官方团队联合腾讯内部一线业务部门披露了高度贴近真实工业流水的评测结果。在游戏研发方向,团队联合腾讯互娱(IEG)围绕 Unreal Engine、Unity、Godot 及多人联机逻辑构建专项训练与评测集,相较 Hy4 preview,Hy4 在 GameDev 指标提升 19.1%、GameLogic 提升 9.8%;在科研方面,Hy4 在覆盖七大学科 123 项任务的 TenureTrail 基准中位列开源权重模型第一,配合 Hyra 2.0 工具链甚至能自主优化同架构小模型的预训练基建并跑赢官方 Jev 基线。
在金融与办公协同场景,团队联合腾讯金融科技(FiT)邀请 213 位金融专业人士(含 153 位来自头部金融机构的专家,超 70% 拥有 5 年以上从业经验)针对基金研究、量化策略、资产配置与税务会计等 579 项真实任务展开评测,Hy4 在开源权重模型中排名第一,并在 RabyteTech 的 IRAB 金融智能体基准上较 preview 版高出 12.03 个百分点。通过强化时效检索、多源综合与事实一致性校验,Hy4 内部评测中的幻觉率从 15.76% 显著压降至 5.45%,猜测性错误从 23.1% 降至 5.6%。同时官方也在“Known Limitations”章节坦诚指出:在高难度研究级数学、超长程编码、模型自我改进以及高级视觉问答方面,Hy4 与顶尖闭源旗舰模型仍存在一定差距。
四、 玄武与科恩实验室“安全体检”及生产部署实操提示
在安全治理层面,伴随权重公开,腾讯混元同步发布了 Hy4 System Card(安全评估卡片)。尤为值得安全工程团队注意的是,Hy4 在网络安全维度的训练数据经过严格清洗——仅纳入 PoC 验证生成、漏洞修复等防守性能力语料,而将漏洞利用(Exploitation)、逆向工程与渗透攻击等进攻性数据彻底剔除;模型开源前,腾讯安全玄武实验室与科恩实验室对其进行了专项进攻性能力审计,均未发现显著的失控风险。
在生产部署与合规细节上,运维团队可通过官方预构建镜像 vllm/vllm-openai:hy4 或多架构镜像 lmsysorg/sglang:hy4 快速拉起 OpenAI 兼容服务,官方建议默认参数为 temperature=0.9、top_p=1.0,并可通过 reasoning_effort 参数在深度思维链模式(默认 "high")与直出模式("no_think")之间灵活切换。需要特别提醒架构师与法务人员的是:尽管包括 AIBase 在内的多家媒体报道提及 Hy4 采用 Apache 2.0 协议,但官方 GitHub 仓库根 README 明确标注该模型依据 Tencent Hy License 发布,企业在将其直接并入商业闭源产品前,务必核对所下载平台仓库内对应的 LICENSE 文本以规避授权歧义。
📝 站长洞察 (Editor’s Insight)
腾讯混元Hy4在11月20日完成770B旗舰权重全量开源,真正的含金量不在于单纯冲高参数,而在于把“推理经济学”和“安全底线”同时交给了开源社区。工程上,Gated DSA配合IndexCache与3.3B DFly2投机解码器,直接把长上下文草稿验证的显存增量压成零、计算固定在2K窗口且原生支持PD分离,大幅压低百万上下文集群的部署门槛。安全上,玄武与科恩实验室提前剔除进攻性渗透语料并公开System Card,示范了“先体检再开源”的负责任路径。唯一需要工程团队留意的是:落地上线前请以对应权重仓库的Tencent Hy License原文为准核实商用边界。
腾讯混元Hy4开源了哪些权重?
本次开源包括Hy4 770B旗舰权重、Hy4-FP8量化版、Hy4 Base预训练基座,以及用于本地验证的GGUF压缩版本,并同步上线GitHub、Hugging Face、ModelScope和GitCode四个平台。
Hy4的Gated DSA和DFly2有什么作用?
Gated DSA用于稀疏注意力与跨层索引复用,帮助支持百万上下文并降低KV Cache占用;DFly2是内置3.3B投机解码器,能共享KV与索引位置,减少额外显存开销并提升解码效率。
Hy4实测效果怎么样?
文章披露Hy4在垂类评测中表现更强,游戏研发相关指标较preview版有提升;同时官方给出的幻觉率降至5.45%,并随模型发布了System Card安全报告,说明其更强调可用性与安全性。
Gated DSA适合替换传统注意力吗?
更适合在长上下文和高吞吐场景做局部替代或混合使用。它的价值在于降低计算与显存压力,但是否全面替换,仍要看任务稳定性、训练成本和推理框架支持度。
DFly2投机解码怎么落地最稳?
先在高频、短响应任务上做灰度验证,再逐步扩到长文本生成。关键是控制草稿模型质量、接受率和回退策略,同时配合量化、KV缓存优化,才能把加速收益稳定兑现。
