Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: Gemma 3 QAT – 谷歌推出的最新开源模型,Gemma 3 量化版
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
Gemma 3 QAT – 谷歌推出的最新开源模型,Gemma 3 量化版
Prompt 语宙 > AIGC 资讯 > Gemma 3 QAT – 谷歌推出的最新开源模型,Gemma 3 量化版
AIGC 资讯

Gemma 3 QAT – 谷歌推出的最新开源模型,Gemma 3 量化版

Prompt 语宙研究院
最近更新: 2026年6月8日 上午10:02
HuggingFace Llama Ollama 大模型微调 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 通过量化感知训练,Gemma 3 QAT 在大幅降显存的同时尽量保留原模型性能。
  • 27B 版本显存从 54GB 降到 14.1GB,12B 版本降到 6.6GB,消费级硬件也能跑。
  • 支持 128K 长上下文、多模态与主流推理框架,适合文档分析和本地部署。

Gemma 3 QAT是什么

Gemma 3 QAT(Quantization-Aware Training)是谷歌推出的最新一代开源模型,是Gemma 3 的量化优化版本。通过量化感知训练技术,Gemma 3 QAT 在显著降低内存需求的同时,保持了高质量的性能。 Gemma 3 27B 的显存需求从 54GB 降低到 14.1GB,能够在消费级 GPU(如 NVIDIA RTX 3090)上本地运行。Gemma 3 12B 的显存需求从 24GB 降至 6.6GB,可以在笔记本电脑的 NVIDIA RTX 4060 GPU 上高效运行。使更多用户能在普通硬件上体验强大的 AI 功能。

阅读目录
  • Gemma 3 QAT是什么
  • Gemma 3 QAT的主要功能
  • Gemma 3 QAT的技术原理
  • Gemma 3 QAT的项目地址
  • Gemma 3 QAT的应用场景

Gemma 3 QAT

Gemma 3 QAT的主要功能

  • 显著降低显存需求:通过量化感知训练技术,Gemma 3 QAT 大幅减少了模型的显存占用。
    • Gemma 3 27B:显存需求从 54GB(BF16)降至 14.1GB(int4),使其能够在 NVIDIA RTX 3090(24GB VRAM)等消费级 GPU 上运行。
    • Gemma 3 12B:显存需求从 24GB(BF16)降至 6.6GB(int4),可在笔记本电脑的 NVIDIA RTX 4060(8GB VRAM)上高效运行。
    • 更小版本(4B、1B):甚至可以在手机等资源受限的设备上运行。
  • 保持高性能:Gemma 3 QAT 仍能保持与 BF16 原生模型相近的性能:在 Chatbot Arena Elo 分数上,Gemma 3 QAT 的量化版本仍具有竞争力,与顶尖语言模型相比毫不逊色。使用 QAT 技术,谷歌在约 5000 步的训练中,将困惑度下降幅度减少了 54%,确保模型在量化后仍能保持高准确性。
  • 多模态能力:支持处理图像输入和文本生成,适用于视觉问答(VQA)和文档分析等任务。
  • 长上下文支持:具备 128,000-token 的上下文窗口,通过混合注意力机制(本地滑动窗口注意力与全局注意力)优化,降低了 KV 缓存的内存占用。
  • 硬件支持:Gemma 3 QAT 可在多种消费级硬件上运行,包括桌面 GPU、笔记本 GPU 和边缘设备。
  • 框架支持:支持 Ollama、LM Studio、llama.cpp、MLX 等主流推理框架,用户可以轻松在不同平台上部署。

Gemma 3 QAT的技术原理

  • 伪量化操作:在训练的前向传播中,模型会通过“伪量化”节点模拟低精度运算,将权重和激活值四舍五入到量化后的值。
  • 高精度反向传播:在反向传播时,模型仍然使用高精度浮点数计算梯度,确保权重更新的准确性。
  • 训练与量化结合:通过这种方式,模型在训练阶段就学会了如何在低精度环境下保持性能,在实际量化后,精度损失极小。
  • KV 缓存优化:通过稀疏缓存和动态压缩技术,进一步降低长上下文任务中的内存占用。
  • 硬件加速:支持 SIMD 指令集优化,如 AVX512 和 NEON,使得推理速度提升 3 倍。

Gemma 3 QAT的项目地址

  • 项目官网:Gemma 3 QAT
  • HuggingFace模型库:https://huggingface.co/collections/google/gemma-3-qat

Gemma 3 QAT的应用场景

  • 视觉问答(VQA):Gemma 3 QAT 在多模态任务中表现出色,量化版本在 DocVQA 等任务上的性能接近 FP16。
  • 文档分析:支持长上下文窗口(128K tokens),适用于文档分析等需要处理大量文本的任务。
  • 长文本生成:通过 KV 缓存优化和分组查询注意力(GQA),Gemma 3 QAT 在 128K 上下文窗口下内存占用降低 40%,推理速度提升 1.8 倍。
  • 长序列推理:适用于需要处理长序列的任务,如长文档分析和复杂的语言模型推理。
  • 边缘设备部署:Gemma 3 QAT 的 1B 版本(529MB)可以在 Android 或 Web 端离线运行,延迟低至 10ms,适合隐私敏感场景(如医疗、金融)。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
Gemma ↗
Gemma:Google AI学习平台,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
HuggingFace ↗
HuggingFace:AI模型开发社区,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
Ollama ↗
本地运行Llama和其他大语言模型。
❓ 常见问题解答(FAQ)
Gemma 3 QAT 和原版 Gemma 3 有什么区别?

Gemma 3 QAT 是 Gemma 3 的量化优化版本,核心区别在于采用量化感知训练,在训练阶段就适应低精度运算,从而在后续量化部署时显著降低显存占用,同时尽量保持原版模型的性能表现。

Gemma 3 QAT 能在什么硬件上运行?

文章提到,Gemma 3 27B 的显存需求可降至 14.1GB,适合 NVIDIA RTX 3090 等消费级 GPU;12B 版本可降至 6.6GB,甚至可在笔记本 GPU 上运行。更小的 4B、1B 版本还可面向手机和边缘设备。

Gemma 3 QAT 适合哪些应用场景?

它适合视觉问答、文档分析、长文本生成和长序列推理等任务。由于支持 128K 上下文、多模态输入和本地部署,也适合对隐私和延迟要求较高的场景,如医疗、金融等。

🔬 语宙深潜追问 · 进阶实操拆解
QAT 量化模型怎么选精度档位?

先按目标硬件倒推可用显存和吞吐,再看任务容错率选 4bit/8bit 或混合精度。对生成类任务优先做小规模 A/B 测试,重点看困惑度、长文本稳定性和关键样例输出,而不是只看平均分。

本地跑 Gemma 3 QAT 要注意什么?

重点是推理框架、KV Cache 和上下文长度控制。建议优先选支持高效量化内核的引擎,限制最大上下文、开启批处理与流式输出,并针对 CPU/GPU 混合场景做延迟压测,避免“能跑但不好用”。

🗳️ 读者观点微投票 · 您的实战立场是?
Gemma 3 QAT 值得为省显存牺牲一点性能吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🔓 所属权威专题:开源大模型与端侧推理 →
  • Gemma 4 12B – 谷歌开源的多模态大模型
  • Gemma 3n – 谷歌推出的端侧多模态AI模型
  • 谷歌Gemma 4开源发布:2B参数跑手机、31B性能超Qwen 397B,Apache 2.0真商用
  • Gemma 3 – 谷歌最新推出的开源多模态 AI 模型
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
76%选民反对、多州下达限电封杀令!2026美国中期选举变“数据中心公投”:巨头AI算力扩张撞上地方资源硬墙全景深度拆解
ScribbleDiff – 开源的涂鸦内容转换成图像的生成技术
三星赢得 Anthropic 大单,AI 芯片生产迎来新机遇!
Motia – AI Agent 开发框架,支持多种编程语言、一键部署智能体
Wordware – 零代码构建AI Agent和应用的开发平台
TAGGED:HuggingFaceLlamaOllama大模型微调开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Llasa TTS – 香港科技大学开源的文本转语音模型 Llasa TTS – 香港科技大学开源的文本转语音模型
下一篇 从基本变量预测到复杂现象死磕!全球海洋现象智能预报大模型“琅琊”2. 0 正式发布 从基本变量预测到复杂现象死磕!全球海洋现象智能预报大模型“琅琊”2. 0 正式发布
Ad image
Ad image

最近更新

花旗银行、摩根大通与美国银行等多家大型商业银行收紧服务条款,明确用户授权第三方 AI 智能体受损需自行担责
哪怕被黑客盗刷也不赔!花旗、摩根大通与美银等五大银行集体改写条款:使用第三方AI智能体风险由客户全权自担,生态入口博弈全面打响
AIGC 资讯
LangSmith for Coding Agents 代码智能体按 PR 结果核算成本与 ROI 官方封面图
340亿美元编码AI开销如何算清账?LangSmith上线代码智能体ROI追踪:按PR结果归因成本、五大工具全统一与线程上下文通胀治理指南
最新趋势
Axiom Math 利用 AI 多智能体集群完成 1.5 万页有限单群分类定理(CFSG)与 7500 页 Stacks 项目数学形式化验证的可视化点阵图
4300万行代码堪比Linux内核!Axiom Math用AI智能体攻克1.5万页“庞大定理”与Stacks项目形式化验证:百个里程碑与分层多智能体架构全拆解
最新趋势
印度具身智能数据初创公司 Humyn Labs 联合创始人 Ishank Gupta(左)与 Manish Agarwal(右)
半年营收破千万且90%来自美国!印度物理AI数据创企Humyn Labs获4700万美元A轮:双摄硬件、2100万债权垫资与20国采集网全拆解
AIGC 资讯

相关推荐

谷歌AI搜索强制升级引爆用户大逃亡!DuckDuckGo下载量狂飙30%,隐私与选择权成新战场
AIGC 资讯最新趋势

谷歌AI搜索强制升级引爆用户大逃亡!DuckDuckGo下载量狂飙30%,隐私与选择权成新战场

Prompt 语宙研究院
AI Overviews AI搜索 DuckDuckGo 谷歌搜索 隐私保护
开源470款模型、下载量狂飙40亿!阿里蔡崇信乌镇重磅定调:开源是AI普及的唯一解,五年后AI终成隐性基础设施全景深度拆解
AIGC 资讯最新趋势

开源470款模型、下载量狂飙40亿!阿里蔡崇信乌镇重磅定调:开源是AI普及的唯一解,五年后AI终成隐性基础设施全景深度拆解

Prompt 语宙研究院
AI基础设施 Qwen开源 乌镇峰会 开源生态 蔡崇信 阿里千问
英伟达拿下苏茨克维:投资SSI实验室,算力版图再添一枚重磅棋子
AIGC 资讯

英伟达拿下苏茨克维:投资SSI实验室,算力版图再添一枚重磅棋子

Prompt 语宙研究院
AI智能体 OpenAI 大模型微调 开源大模型
半年狂揽163亿却亏损807亿!Anthropic IPO招股书草案曝光:背负7500亿美元不可取消算力枷锁,透视大模型巨头的商业生死局与AI基建黑洞
AIGC 资讯最新趋势

半年狂揽163亿却亏损807亿!Anthropic IPO招股书草案曝光:背负7500亿美元不可取消算力枷锁,透视大模型巨头的商业生死局与AI基建黑洞

Prompt 语宙研究院
Anthropic Claude IPO招股书 SRE架构 云基础设施 大模型商业化 算力成本
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.