# BitCPM-CANN – 面壁智能联合清华开源的端侧大模型

- Link: https://paooo.com/aigc-news/18850/
- Published: 2026-06-07T18:48:15+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 中国首个完全基于华为昇腾完成端到端训练的1.58-bit三值[大模型](https://paooo.com/ai-study/)，
   补齐国产NPU低比特训练栈。
 * 0.5B到8B四个尺寸全开源，推理阶段约省6倍显存，8B可部署到主流旗舰手机端侧。
 * 与同尺寸MiniCPM4全精度模型做11项对照评测，3B能力保留率最高达97.2%。

## BitCPM-CANN是什么

BitCPM-CANN是面壁智能联合清华大学与OpenBMB开源社区联合推出的，中国首个完全基于华
为昇腾国产算力平台完成端到端训练的1.58-bit三值大模型。模型采用量化感知训练路线，
包含0.5B至8B四个尺寸，推理阶段释放约6倍显存红利，模型能力保留率达90.1%–97.2%，标志
着国产NPU首次拥有完整的低比特训练栈。

阅读目录

 * [BitCPM-CANN是什么](https://paooo.com/aigc-news/18850/#bitcpmcann%e6%98%af%e4%bb%80%e4%b9%88)
 * [BitCPM-CANN的主要功能](https://paooo.com/aigc-news/18850/#bitcpmcann%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [BitCPM-CANN的技术原理](https://paooo.com/aigc-news/18850/#bitcpmcann%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [如何使用BitCPM-CANN](https://paooo.com/aigc-news/18850/#%e5%a6%82%e4%bd%95%e4%bd%bf%e7%94%a8bitcpmcann)
 * [BitCPM-CANN的核心优势](https://paooo.com/aigc-news/18850/#bitcpmcann%e7%9a%84%e6%a0%b8%e5%bf%83%e4%bc%98%e5%8a%bf)
 * [BitCPM-CANN的项目地址](https://paooo.com/aigc-news/18850/#bitcpmcann%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [BitCPM-CANN的同类竞品对比](https://paooo.com/aigc-news/18850/#bitcpmcann%e7%9a%84%e5%90%8c%e7%b1%bb%e7%ab%9e%e5%93%81%e5%af%b9%e6%af%94)
 * [BitCPM-CANN的应用场景](https://paooo.com/aigc-news/18850/#bitcpmcann%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![BitCPM-CANN](https://paooo.com/wp-content/uploads/2026/06/BitCPM-CANN-website-
1.avif)

## BitCPM-CANN的主要功能

 * **1.58-bit三值大模型推理：** 提供0.5B、1B、3B、8B四个参数规格，可在端侧设备上
   高效运行，8B模型可轻松部署于当前主流旗舰手机。
 * **国产昇腾全链路训练闭环：** 从训练到推理完整链路均在华为昇腾平台上原生完成，
   无需依赖国外GPU进行预训练。
 * **极致显存释放：** 相比传统BF16精度，推理阶段释放约6倍显存红利，同等内存可承载
   远超以往的模型能力。
 * **全精度对照评测验证：** 与同尺寸MiniCPM4全精度模型在常识、阅读理解、学科知识、
   数学与推理等11项任务上完成1:1性能对照。
 * **开源模型与训练底座：** 全系列模型权重及基于MindSpeed × Megatron-LM的低比特训练
   底座均对外开放，支持开发者复现与二次创新。

## BitCPM-CANN的技术原理

 * **量化感知训练（QAT）：** 模型在训练初始阶段即主动学习使用三值权重（-1、0、+1）
   进行知识表达，非训练完成后再被动压缩，从根本上实现极低比特下的原生生长。
 * **三值权重信息密度最大化：** 通过1.58-bit位宽约束迫使每个bit发挥最大知识承载效率，
   使权重精度取决于每bit承载的知识量非位宽大小。
 * **MindSpeed × Megatron-LM训练底座：** 基于主干框架在昇腾平台上搭建完整的低比特
   训练基础设施，包含环境适配、32K长序列支持、并行策略与融合算子体系。
 * **端到端国产算力原生适配：** 从最底层量化算子、QAT算法到完整并行策略和训练框架，
   全部针对华为昇腾进行原生开发与优化，实现训练推理一体化。
 * **系统性可扩展低比特范式：** 通过0.5B至8B全尺寸系列的工程验证，证明该低比特训练
   路线具备跨规模的系统性、可扩展性与工程可复现性。

## 如何使用BitCPM-CANN

 * **获取开源模型权重：** 访问HuggingFace下载0.5B、1B、3B、8B全系列模型权重。
 * **部署训练底座：** 基于面壁智能开源的MindSpeed × Megatron-LM低比特训练底座，在
   华为昇腾平台上完成环境适配、依赖安装与框架部署。
 * **端侧推理运行：** 用模型6倍显存红利优势，在当前主流旗舰手机或PC端侧设备上直接
   运行8B及以下模型进行推理。
 * **二次训练创新：** 基于QAT训练基础设施与开源代码，在昇腾平台上进行二次微调、领域
   适配或更大规模的低比特训练创新。

## BitCPM-CANN的核心优势

 * **国产算力闭环突破：** 首次在昇腾上实现端到端1.58-bit训练并全精度对照评测至8B
   级别，打破国产芯片只能跑推理的刻板印象。
 * **性能保留率行业领先：** 3B模型能力保留率达97.2%为全档最高，8B达95.7%，0.5B亦
   达90.1%，系统性可扩展且工程可复现。
 * **训练效率显著优于同类：** 此前GPU版BitCPM 1B仅用微软BitNet 2B 1/20的训练算力
   即实现全面超越，效率优势已验证。
 * **端侧天花板大幅抬升：** 6倍显存红利结合MoE架构，有望将50B乃至100B参数超大模型
   装入终端，使端侧AI能力达到全新高度。

## BitCPM-CANN的项目地址

 * **HuggingFace模型库**：https://huggingface.co/collections/openbmb/bitcpm-cann

## BitCPM-CANN的同类竞品对比

  |  对比维度 |  BitCPM-CANN |  微软 BitNet |  
   |  **开发方** |  面壁智能 / 清华大学 / OpenBMB |  微软研究院 |  
 |  **技术路线** |  量化感知训练（QAT） |  三值量化训练 |  
 |  **训练平台** |  华为昇腾（国产NPU） |  英伟达 GPU |  
 |  **权重精度** |  1.58-bit（-1, 0, +1） |  1.58-bit（-1, 0, +1） |  
 |  **能力保留率** |  90.1%–97.2%（3B最高97.2%） |  未公开同类全精度对照 |  
 |  **训练效率** |  1B仅用BitNet 2B 1/20算力 |  基准方案 |  
 |  **端到端训练** |  昇腾原生完成 |  GPU原生完成 |  
 |  **开源程度** |  全系列权重 + 训练底座开源 |  部分开源 |  
 |  **端侧价值** |  补国产NPU低比特模型供给侧空白 |  推动三值量化研究 |

## BitCPM-CANN的应用场景

 * **智能手机端侧AI：** 在有限内存下运行更大参数模型，未来有望在手机上运行60B大模型，
   直接提升终端智能水平与用户体验。
 * **国产芯片生态补全：** 为高通骁龙8 Gen 4等已支持2-bit推理的端侧芯片提供高质量
   模型侧供给，实现软硬件协同与生态闭环。
 * **企业级端侧部署：** 适用PC、汽车、IoT等设备上的低内存成本大模型推理，对冲全球
   HBM内存价格飙升带来的供应链压力。
 * **低比特训练研究创新：** 为昇腾平台开发者提供可复用、可扩展的QAT公共基础设施，
   支持基于国产算力的二次训练与微调创新。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

BitCPM-CANN是什么模型？

BitCPM-CANN是面壁智能联合清华大学与OpenBMB推出的1.58-bit三值端侧大模型，采用量化
感知训练路线，并在华为昇腾国产算力平台上完成端到端训练，覆盖0.5B、1B、3B、8B四个
规格。

BitCPM-CANN适合哪些部署场景？

它主要面向手机、PC、汽车和IoT等端侧设备，适合在有限内存下进行大模型推理。文中提到
8B模型可部署于主流旗舰手机，且推理阶段约有6倍显存红利。

BitCPM-CANN和BitNet有什么区别？

两者都采用1.58-bit三值量化思路，但BitCPM-CANN的特点是基于华为昇腾完成端到端训练，
并开放全系列权重与训练底座；BitNet则是微软研究院路线，文中对比显示其训练平台为英伟
达GPU。

🔬 语宙深潜追问 · 进阶实操拆解

超低比特训练最怕什么损失？

最怕表示能力和数值稳定性同时下降。要尽量通过分层量化、蒸馏和校准数据来补偿，否则
模型可能在推理速度变快的同时，出现推理漂移和细节丢失。

国产NPU适合先落地哪些应用？

优先做离线可用、隐私敏感、算力可预测的场景，比如本地助手、工业终端和边缘分析。这样
既能发挥端侧优势，也能避开云端高并发和复杂调度压力。

🗳️ 读者观点微投票 · 您的实战立场是？

1.58-bit端侧大模型值得押注吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🔓 所属权威专题：开源大模型与端侧推理 →](https://paooo.com/topics/open-source-llm/)

 * [中国首个1.58-bit三值大模型BitCPM-CANN开源发布：显存降6倍，8B模型可跑在手机上](https://paooo.com/aigc-news/17592/)
 * [面壁智能联手清华开源BitCPM-CANN：手机端跑大模型内存锐减6倍，性能保留率高达97%](https://paooo.com/aigc-news/17753/)
 * [MiniCPM-V 4.6发布：1.3B参数模型性能越级，重新定义端侧多模态AI天花板](https://paooo.com/aigc-news/17891/)
 * [MiniCPM 4.0 开源：面壁智能 8B/0.5B 端侧大模型，推理提速220倍，适配主流芯片](https://paooo.com/aigc-news/14971/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/18850/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
