BitCPM-CANN – 面壁智能联合清华开源的端侧大模型

BitCPM-CANN是什么

BitCPM-CANN是面壁智能联合清华大学与OpenBMB开源社区联合推出的，中国首个完全基于华为昇腾国产算力平台完成端到端训练的1.58-bit三值大模型。模型采用量化感知训练路线，包含0.5B至8B四个尺寸，推理阶段释放约6倍显存红利，模型能力保留率达90.1%–97.2%，标志着国产NPU首次拥有完整的低比特训练栈。

BitCPM-CANN的主要功能

• 1.58-bit三值大模型推理： 提供0.5B、1B、3B、8B四个参数规格，可在端侧设备上高效运行，8B模型可轻松部署于当前主流旗舰手机。
• 国产昇腾全链路训练闭环： 从训练到推理完整链路均在华为昇腾平台上原生完成，无需依赖国外GPU进行预训练。
• 极致显存释放： 相比传统BF16精度，推理阶段释放约6倍显存红利，同等内存可承载远超以往的模型能力。
• 全精度对照评测验证： 与同尺寸MiniCPM4全精度模型在常识、阅读理解、学科知识、数学与推理等11项任务上完成1:1性能对照。
• 开源模型与训练底座： 全系列模型权重及基于MindSpeed × Megatron-LM的低比特训练底座均对外开放，支持开发者复现与二次创新。

BitCPM-CANN的技术原理

• 量化感知训练（QAT）： 模型在训练初始阶段即主动学习使用三值权重（-1、0、+1）进行知识表达，非训练完成后再被动压缩，从根本上实现极低比特下的原生生长。
• 三值权重信息密度最大化： 通过1.58-bit位宽约束迫使每个bit发挥最大知识承载效率，使权重精度取决于每bit承载的知识量非位宽大小。
• MindSpeed × Megatron-LM训练底座： 基于主干框架在昇腾平台上搭建完整的低比特训练基础设施，包含环境适配、32K长序列支持、并行策略与融合算子体系。
• 端到端国产算力原生适配： 从最底层量化算子、QAT算法到完整并行策略和训练框架，全部针对华为昇腾进行原生开发与优化，实现训练推理一体化。
• 系统性可扩展低比特范式： 通过0.5B至8B全尺寸系列的工程验证，证明该低比特训练路线具备跨规模的系统性、可扩展性与工程可复现性。

如何使用BitCPM-CANN

• 获取开源模型权重： 访问HuggingFace下载0.5B、1B、3B、8B全系列模型权重。
• 部署训练底座： 基于面壁智能开源的MindSpeed × Megatron-LM低比特训练底座，在华为昇腾平台上完成环境适配、依赖安装与框架部署。
• 端侧推理运行： 用模型6倍显存红利优势，在当前主流旗舰手机或PC端侧设备上直接运行8B及以下模型进行推理。
• 二次训练创新： 基于QAT训练基础设施与开源代码，在昇腾平台上进行二次微调、领域适配或更大规模的低比特训练创新。

BitCPM-CANN的核心优势

• 国产算力闭环突破： 首次在昇腾上实现端到端1.58-bit训练并全精度对照评测至8B级别，打破国产芯片只能跑推理的刻板印象。
• 性能保留率行业领先： 3B模型能力保留率达97.2%为全档最高，8B达95.7%，0.5B亦达90.1%，系统性可扩展且工程可复现。
• 训练效率显著优于同类： 此前GPU版BitCPM 1B仅用微软BitNet 2B 1/20的训练算力即实现全面超越，效率优势已验证。
• 端侧天花板大幅抬升： 6倍显存红利结合MoE架构，有望将50B乃至100B参数超大模型装入终端，使端侧AI能力达到全新高度。

BitCPM-CANN的项目地址

• HuggingFace模型库：https://huggingface.co/collections/openbmb/bitcpm-cann

BitCPM-CANN的同类竞品对比

BitCPM-CANN的应用场景

• 智能手机端侧AI： 在有限内存下运行更大参数模型，未来有望在手机上运行60B大模型，直接提升终端智能水平与用户体验。
• 国产芯片生态补全： 为高通骁龙8 Gen 4等已支持2-bit推理的端侧芯片提供高质量模型侧供给，实现软硬件协同与生态闭环。
• 企业级端侧部署： 适用PC、汽车、IoT等设备上的低内存成本大模型推理，对冲全球HBM内存价格飙升带来的供应链压力。
• 低比特训练研究创新： 为昇腾平台开发者提供可复用、可扩展的QAT公共基础设施，支持基于国产算力的二次训练与微调创新。