💡 站外导读:两天前揭晓架构面纱的“日常生产力性价比杀手”正式开源。2026 年 11 月 18 日,腾讯混元发布 Hy4-flash 全家族开源权重,覆盖标准版、FP8 量化版与 Base 基座三大规格,并同步登陆 GitHub、Hugging Face、ModelScope 与 GitCode。配合社区跟进的 GGUF 格式与原生 0.85B 投机解码器,开发者已可在本地或私有集群复现 150+ TPS 的极速推理体验。

一、 开源三件套与 GGUF 生态落地:面向私有化与端侧的完整矩阵
与此前仅开放云端 API 试用的阶段不同,本次腾讯混元在 Tencent-Hunyuan/Hy4-flash 开源仓库一次性释放了面向不同工程环节的三大核心权重包:面向全精度推理集群的标准版 Hy4-flash、专为压缩显存与提升吞吐打造的 Hy4-flash-FP8,以及保留完整预训练特征、允许行业团队从零开展领域继续预训练或 SFT 微调的 Hy4-flash-Base,均遵循 Tencent Hy License 开源协议发布。
更令本地部署玩家欣喜的是,除四大主流代码与模型社区直出权重外,开源社区(如 AngelSlim/Hy4-flash-GGUF)已同步适配出 GGUF 量化格式,结合针对性的 llama.cpp 适配分支,使得拥有 128GB 统一内存工作站或 Mac 集群的个人开发者也能绕开高昂多卡机柜门槛,直接把 224B 量级的模型拉入本地运行环境。同时腾讯官方预告,智商天花板更高的旗舰版 Hy4 模型也已在加速开源队列中。

二、 开源版本规格、部署通道与官方 API 价格体系全览
虽然 Hy4-flash 总参数规模达到 224B(其中包含 64B 的 Engram 查找式 N-gram 参数),但得益于 LatentMoE 潜空间路由,每次前向推理仅动态激活 12B 参数;叠加稀疏注意力(IndexPool)与滑动窗口注意力(SWA)1:3 交错排布,其 1M(100 万)Token 超长上下文下的 KV Cache 内存开销压低至 Hy3 的 1/24、Hy4 的 1/6。下表汇总了本次开源版本与云端商业化通道的关键参数:
| 版本 / 部署通道 | 核心规格与适配格式 | 目标硬件与引擎生态 | 典型场景与计费参考 |
|---|---|---|---|
| Hy4-flash(标准开源版) | 224B 总参 / 12B 激活 / 64B Engram,Bfloat16 | 多卡 GPU 集群,官方支持最新版 vLLM 直接拉起 OpenAI 兼容服务 | 高保真多模态文档分析、PPT 生成与私有化 Agent 底座 |
| Hy4-flash-FP8(量化开源版) | 原生 FP8 权重量化,显存带宽压力大幅降低 | Hopper / Ada / Blackwell 等支持 FP8 算子加速卡(vLLM / SGLang) | 高并发日常深度搜索、代码辅助,兼顾精度与单卡吞吐 |
| Hy4-flash-Base(底座版) | 未经过度指令对齐的预训练基座权重 | Megatron / DeepSpeed 等分布式微调框架 | 金融、医疗、法律等垂直领域从零行业对齐与专有 SFT |
| 社区 GGUF 量化版 | 4-bit 等低比特 GGUF 封装(如 AngelSlim 维护版) | llama.cpp 适配分支,面向 128GB+ 统一内存本地工作站 / Mac |
离线数据脱敏处理、个人本地知识库与边缘端实验 |
| 腾讯云 TokenHub 官方 API | 集成 0.85B 投机解码器 DFly2 + Megakernel,解码 >150 TPS |
免运维云端调用,同步内置于元宝、WorkBuddy、企微、QQ、ima、Marvis | 输入 0.5 元/M、输出 2 元/M、缓存命中 0.02 元/M(单任务成本约 Hy4 1/20) |
三、 150+ TPS 极速解码秘籍:DFly2 投机解码与自蒸馏瘦身
对于实际将开源模型投入生产推理的 SRE 与算法团队而言,Hy4-flash 最具工程借鉴意义的并不仅是“12B 激活”,而是其围绕端到端推理延迟与输出长度做的全链路裁剪。一方面,模型自带了一个极轻量的 0.85B 投机解码器(DFly2),配合 4-bit 量化及底层 Megakernel 算子融合优化,使流式输出速度轻松冲破每秒 150 Token,极大改善了前端对话与多轮工具调用的等待体感。
另一方面,针对推理模型普遍爱“啰嗦废话、狂吐无效思考 Token”的通病,腾讯团队在后训练阶段引入了自蒸馏与强化学习长度惩罚机制,使得 Hy4-flash 的平均输出长度直接降低 50%,而综合任务表现依然略优于上一代 Hy4 preview。这种“快解码 + 短输出”的组合拳,直接支撑起了官方 API 每百万输入 0.5 元、输出 2 元、缓存命中仅 0.02 元的激进定价。
四、 内部七大产品全量实战背书:开源即可用的生产力闭环
不同于许多“论文开源但自家业务不敢用”的实验室模型,Hy4-flash 在开放权重的同时已完成高强度内部业务洗礼。官方披露,该模型目前已在腾讯云 TokenHub、WorkBuddy、腾讯元宝、企业微信、QQ、ima 以及 Marvis 等七大核心产品线正式全量上线,重点承担日常深度搜索、长文档精读提炼、PPT 自动编排、前端轻量 Demo 编写以及桌面端 Computer Use 操作。
随着今日标准版、FP8 与 Base 三版本的全面开放,中小开发团队既可以直接通过 TokenHub 以极低单价接入高并发服务,也可借助 vLLM 与 GGUF 工具链将这套经过亿级用户产品验证的稀疏多模态架构无缝迁入内网隔离环境。
📝 站长洞察 (Editor’s Insight)
两天前看到 Hy4-flash 的论文参数时,业界还在观望这套“64B Engram 查找表 + LatentMoE + 1:3 混合注意力”的复杂结构究竟何时能脱离云端黑盒;今天腾讯直接甩出标准版、FP8 与 Base 三套权重外加社区 GGUF,彻底打消了工程团队的疑虑。尤其值得关注的是自蒸馏带来“输出长度减半”与 0.85B DFly2 投机解码的协同效应——在实际 Agent 生产链路中,把输出冗余砍掉一半往往比单纯压低单价更能直接拉升系统并发上限。对于需要百万上下文且预算吃紧的中小团队,FP8 开源版配合缓存命中 0.02 元/M 的云端兜底,已是当前最具性价比的生产级基座组合之一。
Hy4-flash 开源了哪些版本?
本次开源包含三类核心权重:标准版 Hy4-flash、FP8 量化版 Hy4-flash-FP8、以及未过度指令对齐的 Hy4-flash-Base。社区还同步适配了 GGUF 量化版,便于本地和私有化部署。
Hy4-flash 为什么能做到高吞吐?
它总参数224B,但每次前向仅激活12B,并结合稀疏注意力、滑动窗口注意力和0.85B投机解码器 DFly2,再加上 Megakernel 优化,因此能把流式输出速度提升到150+ TPS。
Hy4-flash 适合哪些部署场景?
标准版适合多卡 GPU 集群和 OpenAI 兼容服务,FP8 版适合支持 FP8 的高并发推理卡,Base 版适合行业继续预训练或 SFT,GGUF 版则更适合 128GB+ 统一内存工作站和 Mac 本地运行。
vLLM和llama.cpp该怎么选?
追求服务端吞吐、并发和动态批处理,优先 vLLM;更看重本地离线、CPU/边缘部署和 GGUF 生态,则选 llama.cpp。若要兼顾量化与推理效率,先按目标硬件做一轮小流量压测再定。
1M上下文落地要注意什么?
长上下文不等于可无脑全开,关键看 KV cache 显存、吞吐衰减和提示词组织。实战里要做分段检索、上下文裁剪和缓存复用,否则长上下文会把成本和延迟一起拉高。
