Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: 770B旗舰全量开源且幻觉率压至5.45%!腾讯混元Hy4权重上线全拆解:Gated DSA、DFly2投机解码与玄武安全体检报告
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
腾讯混元Hy4 770B旗舰开源大模型在代码、推理与专业场景下的权威基准测试对比图
Prompt 语宙 > 强化 AI 学习 > 770B旗舰全量开源且幻觉率压至5.45%!腾讯混元Hy4权重上线全拆解:Gated DSA、DFly2投机解码与玄武安全体检报告
强化 AI 学习

770B旗舰全量开源且幻觉率压至5.45%!腾讯混元Hy4权重上线全拆解:Gated DSA、DFly2投机解码与玄武安全体检报告

Prompt 语宙研究院
最近更新: 2026年11月20日 下午5:15
AI编程 DeepSeek MoE架构 大模型安全评估 大模型微调 开源大模型 投机解码DFly2 腾讯混元 腾讯混元Hy4
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 770B旗舰Hy4完成全量开源,含FP8版、Base基座与GGUF压缩包,形成完整双线模型矩阵。
  • 架构上采用78层MoE、Gated DSA与内置3.3B DFly2投机解码,实现高激活效率与零额外KV显存。
  • 实测在游戏、科研等场景表现提升,官方披露幻觉率降至5.45%,并附安全审计报告。

💡 站外导读:11月20日,腾讯混元正式将770B旗舰大模型Hy4权重上线GitHub与Hugging Face等四大平台,完成混元LLM全系列开源。本次释放涵盖770B MoE主干、FP8版与Base预训练基座,同步公开Gated DSA稀疏注意力、内置3.3B DFly2投机解码架构及vLLM/SGLang镜像,并随附玄武与科恩实验室审计的System Card安全报告。

腾讯混元Hy4 770B旗舰开源大模型在代码、推理与专业场景下的权威基准测试对比图

一、 混元 LLM 全系正式集齐:770B 旗舰开源与百万上下文双线矩阵

继 11 月 4 日正式发布 Hy4 旗舰版、11 月 18 日率先放出高性价比 Hy4-flash 家族后,腾讯混元团队于 11 月 20 日正式兑现全量开源承诺:将 Hy4(770B 总参数)、Hy4-FP8 量化版以及从零预训练的 Hy4 Base 模型权重同步上架 GitHub(Tencent-Hunyuan/Hy4)、Hugging Face、ModelScope 与 GitCode 四大开源社区,并同步提供用于端到端本地验证的 GGUF 压缩版本。

阅读目录
  • 一、 混元 LLM 全系正式集齐:770B 旗舰开源与百万上下文双线矩阵
  • 二、 架构硬核拆解:78 层 MoE、Gated DSA 与零额外显存的 DFly2 投机解码
  • 三、 金融、游戏与科研垂类实测:幻觉率砍至 5.45% 与坦诚的能力边界
  • 四、 玄武与科恩实验室“安全体检”及生产部署实操提示
      • 📝 站长洞察 (Editor’s Insight)

至此,混元大语言模型家族实现了 Hy3 preview、Hy3、Hy4 preview、Hy4 及 Hy4 flash 的全系列开源集齐,形成“770B 复杂推理旗舰 + 224B 高并发性价比底座”的完整双线供给体系。在多模态输入方面,Hy4 借助支持动态图像分辨率的 ViT 与特征适配器,可将图像与视频帧转为视觉 Token,实现文本、图片与视频的统一上下文理解。

二、 架构硬核拆解:78 层 MoE、Gated DSA 与零额外显存的 DFly2 投机解码

深入官方 GitHub 仓库披露的模型拓扑,Hy4 的语言主干采用精细化的混合专家(MoE)架构设计:全模型共 78 层,其中第 1 层保留标准 Dense FFN,其余 77 层全部采用 MoE FFN;每个 MoE 层配置 256 个路由专家(routed experts)和 1 个共享专家(shared expert),推理时每个 Token 仅激活 Top-8 路由专家加共享专家,使得总参数高达 770B 的旗舰模型每次前向计算仅激活 49B 参数,兼顾超大规模知识容量与百万 Token 级上下文承载力。

更值得推理引擎工程师关注的是其注意力与残差创新:Hy4 在注意力层引入了受 DeepSeek 与 GLM 启发的 Gated DeepSeek Sparse Attention(Gated DSA),配合 IndexCache 实现跨层稀疏索引复用,残差通路则采用 iHC(identity Hyper-Connections) 扩展跨层信息流动。同时,模型内建了一个 5 层、3.3B 参数的并行草稿模型 DFly2(基于 AngelSpec 训练),直接共享对应 Hy4 DSA 层的 KV Cache(KV Share)与 Top-2048 稀疏索引位置(Index Share),从而带来了三大工程红利:

  • 恒定计算开销:无论上下文拉长到何种尺度,每个草稿 Token 最多仅关注约 2K 个 Key;
  • 零额外 KV 显存:无需为投机解码器单独开辟并维护一套 KV Cache;
  • 原生适配 PD 分离:草稿器不参与 Prefill 阶段,Prefill 向 Decode 节点传输时仅需额外附带一层末层隐藏状态(hidden state)。
腾讯混元Hy4内置DFly2并行投机解码架构示意图:通过KV Share与Index Share复用Gated DSA稀疏索引
核心技术维度 Hy4 旗舰开源版 (本次重点) Hy4-flash 高性价比版 (同系矩阵) 推理与工程落地价值
参数规模与激活量 总参数 770B / 单 Token 激活 49B (78层 MoE) 总参数 224B(含 64B Engram)/ 激活 12B 按复杂推理 vs 高频日常场景分层选型,避免算力错配
注意力与上下文窗口 Gated DSA + IndexCache + iHC,支持 1M Token 混合注意力 + LatentMoE + Engram,同样支持 1M Token 长文本场景下大幅压低 KV Cache 显存占用的同时保持召回率
加速与压缩工具链 内置 3.3B DFly2 投机解码 + AngelSlim + GGUF 标准版 / FP8 / Base / GGUF,解码突破 150 TPS 支持 vLLM 与 SGLang 官版镜像开箱即用,天然契合 PD 分离
多模态与开源阵营 动态 ViT 支持文本/图像/视频,四平台同步上线 支持多模态输入,单任务成本较 preview 版大幅下探 覆盖从云端多卡集群到本地端侧量化验证的全链路部署

三、 金融、游戏与科研垂类实测:幻觉率砍至 5.45% 与坦诚的能力边界

不同于只晒通用榜单刷分的做法,Hy4 官方团队联合腾讯内部一线业务部门披露了高度贴近真实工业流水的评测结果。在游戏研发方向,团队联合腾讯互娱(IEG)围绕 Unreal Engine、Unity、Godot 及多人联机逻辑构建专项训练与评测集,相较 Hy4 preview,Hy4 在 GameDev 指标提升 19.1%、GameLogic 提升 9.8%;在科研方面,Hy4 在覆盖七大学科 123 项任务的 TenureTrail 基准中位列开源权重模型第一,配合 Hyra 2.0 工具链甚至能自主优化同架构小模型的预训练基建并跑赢官方 Jev 基线。

在金融与办公协同场景,团队联合腾讯金融科技(FiT)邀请 213 位金融专业人士(含 153 位来自头部金融机构的专家,超 70% 拥有 5 年以上从业经验)针对基金研究、量化策略、资产配置与税务会计等 579 项真实任务展开评测,Hy4 在开源权重模型中排名第一,并在 RabyteTech 的 IRAB 金融智能体基准上较 preview 版高出 12.03 个百分点。通过强化时效检索、多源综合与事实一致性校验,Hy4 内部评测中的幻觉率从 15.76% 显著压降至 5.45%,猜测性错误从 23.1% 降至 5.6%。同时官方也在“Known Limitations”章节坦诚指出:在高难度研究级数学、超长程编码、模型自我改进以及高级视觉问答方面,Hy4 与顶尖闭源旗舰模型仍存在一定差距。

四、 玄武与科恩实验室“安全体检”及生产部署实操提示

在安全治理层面,伴随权重公开,腾讯混元同步发布了 Hy4 System Card(安全评估卡片)。尤为值得安全工程团队注意的是,Hy4 在网络安全维度的训练数据经过严格清洗——仅纳入 PoC 验证生成、漏洞修复等防守性能力语料,而将漏洞利用(Exploitation)、逆向工程与渗透攻击等进攻性数据彻底剔除;模型开源前,腾讯安全玄武实验室与科恩实验室对其进行了专项进攻性能力审计,均未发现显著的失控风险。

在生产部署与合规细节上,运维团队可通过官方预构建镜像 vllm/vllm-openai:hy4 或多架构镜像 lmsysorg/sglang:hy4 快速拉起 OpenAI 兼容服务,官方建议默认参数为 temperature=0.9、top_p=1.0,并可通过 reasoning_effort 参数在深度思维链模式(默认 "high")与直出模式("no_think")之间灵活切换。需要特别提醒架构师与法务人员的是:尽管包括 AIBase 在内的多家媒体报道提及 Hy4 采用 Apache 2.0 协议,但官方 GitHub 仓库根 README 明确标注该模型依据 Tencent Hy License 发布,企业在将其直接并入商业闭源产品前,务必核对所下载平台仓库内对应的 LICENSE 文本以规避授权歧义。

📝 站长洞察 (Editor’s Insight)

腾讯混元Hy4在11月20日完成770B旗舰权重全量开源,真正的含金量不在于单纯冲高参数,而在于把“推理经济学”和“安全底线”同时交给了开源社区。工程上,Gated DSA配合IndexCache与3.3B DFly2投机解码器,直接把长上下文草稿验证的显存增量压成零、计算固定在2K窗口且原生支持PD分离,大幅压低百万上下文集群的部署门槛。安全上,玄武与科恩实验室提前剔除进攻性渗透语料并公开System Card,示范了“先体检再开源”的负责任路径。唯一需要工程团队留意的是:落地上线前请以对应权重仓库的Tencent Hy License原文为准核实商用边界。

🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
腾讯混元 ↗
腾讯混元大模型是腾讯研发的具备跨领域知识和自然语言理解能力的大语言模型。
DeepSeek ↗
DeepSeek 是由幻方量化公司推出的 AI 智能助手和开源大模型平台。其核心功能包括提供世界级推理能力的 A
❓ 常见问题解答(FAQ)
腾讯混元Hy4开源了哪些权重?

本次开源包括Hy4 770B旗舰权重、Hy4-FP8量化版、Hy4 Base预训练基座,以及用于本地验证的GGUF压缩版本,并同步上线GitHub、Hugging Face、ModelScope和GitCode四个平台。

Hy4的Gated DSA和DFly2有什么作用?

Gated DSA用于稀疏注意力与跨层索引复用,帮助支持百万上下文并降低KV Cache占用;DFly2是内置3.3B投机解码器,能共享KV与索引位置,减少额外显存开销并提升解码效率。

Hy4实测效果怎么样?

文章披露Hy4在垂类评测中表现更强,游戏研发相关指标较preview版有提升;同时官方给出的幻觉率降至5.45%,并随模型发布了System Card安全报告,说明其更强调可用性与安全性。

🔬 语宙深潜追问 · 进阶实操拆解
Gated DSA适合替换传统注意力吗?

更适合在长上下文和高吞吐场景做局部替代或混合使用。它的价值在于降低计算与显存压力,但是否全面替换,仍要看任务稳定性、训练成本和推理框架支持度。

DFly2投机解码怎么落地最稳?

先在高频、短响应任务上做灰度验证,再逐步扩到长文本生成。关键是控制草稿模型质量、接受率和回退策略,同时配合量化、KV缓存优化,才能把加速收益稳定兑现。

🗳️ 读者观点微投票 · 您的实战立场是?
770B全量开源后,你最看重什么?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • 三版本权重与GGUF全网同步开放!腾讯混元正式开源Hy4-flash家族:224B激活12B、vLLM与llama.cpp部署路线及0.5元定价全拆解
  • 770B基座迎史诗级进化!腾讯混元Hy4与Hy4flash重磅官宣:首次引入原生视觉理解、思维链效率跃升与Co-Design架构全景拆解
  • 单任务成本暴降至1/13且解码突破150 TPS!腾讯混元重磅发布Hy4flash:224B参数架构、1M长上下文与混合注意力全链路优化全景深度拆解
  • 770B巨兽激活仅49B且首度实装电脑操作!腾讯混元正式发布新一代旗舰大模型Hy4:多模态感知端到端协同、金融众测登顶与1M百万长上下文全景架构深度拆解
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
Being-M0 – 北大联合人民大学推出的人形机器人通用动作生成模型
破解AI记忆三周魔咒!腾讯混元Hy-Memory发布:记忆密度提升45%、Token消耗降低35%,定义Agent长期协作新范式
大新闻! Facebook 开源了一个专注于声音的 Generative AI 工具: AudioCraft
MagicStock
AIPPT
TAGGED:AI编程DeepSeekMoE架构大模型安全评估大模型微调开源大模型投机解码DFly2腾讯混元腾讯混元Hy4
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Photon Health为ChatGPT医疗版推出处方插件临床医生通过AI辅助起草并发送电子处方 从健康问答迈向电子开药闭环!Photon Health上线ChatGPT处方插件:医生防敏校验、非管制药红线与HIPAA合规边界全拆解
下一篇 LangSmith Tool Gateway官方公测封面:面向生产级AI智能体的统一工具路由与权限网关 单URL收口千余MCP工具!LangChain公测LangSmith Tool Gateway:双轨身份鉴权、Deny/审批策略与零敏感落盘审计全拆解
Ad image
Ad image

最近更新

Latent Space 对话 Black Forest Labs 核心创始人 Andreas Blattmann 与 Dustin Podell:从 FLUX 到视觉智能与世界动作模型
视觉智能为什么不能只靠静态图片?对话Black Forest Labs创始人:FLUX 3音画联合训练、扩散与自回归之争及世界动作模型全拆解
强化 AI 学习
Google 官方详解网站迁移至 CDN 如何避免爬虫流量激增打崩源站与误封 Googlebot 导致搜索掉收录
刚切上CDN源站反被爬虫打崩?Google官方拆解迁移翻车悖论:冷缓存雪崩、验证码误杀与预热止血指南
AI 工具
GitHub 正式上线 Repository insights 页面,集中展示 Copilot 代码审查采纳率与评论分类统计结果
AI代码审查到底有没有被采纳?GitHub上线Repository insights与repos-1-day API:四维信号、力度趋势及统计陷阱全拆解
AI 工具
Forrester AI 颠覆评估模型 17 大技术与服务品类分布图:呈现受颠覆、中立、争夺与加速四类市场象限及细分赛道数量
80%技术市场面临AI重塑冲击!Forrester拆解200+细分赛道颠覆矩阵:四大象限与Top 20合同采购谈判实战
最新趋势

相关推荐

Light-R1 – 360智脑开源的长思维链推理模型
AIGC 资讯

Light-R1 – 360智脑开源的长思维链推理模型

Prompt 语宙研究院
360智脑 DeepSeek HuggingFace 大模型微调 开源大模型
AI主权新突破:德国研究联盟发布开源大模型Soofi S
AIGC 资讯

AI主权新突破:德国研究联盟发布开源大模型Soofi S

Prompt 语宙研究院
AI智能体 AI编程 开源大模型
哪些信号表明该离开公司寻找新的工作机会了... [译]
强化 AI 学习

哪些信号表明该离开公司寻找新的工作机会了… [译]

宝玉的分享
AI办公效率 AI智能体 大模型微调
你好 GPT-4o [译]
强化 AI 学习

你好 GPT-4o [译]

宝玉的分享
AI智能体 AI音频与语音 ChatGPT OpenAI
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.