面壁智能联合发布BitCPM-CANN:国产算力助力端侧大模型显存红利大释放

   发布时间:2026-05-26 01:26 作者:冯璃月

面壁智能近日携手清华大学、OpenBMB开源社区,共同推出并开源了其在低比特大模型训练领域的突破性成果——BitCPM-CANN。这一三值(1.58-bit)大模型不仅是中国首个完全基于国产算力平台华为昇腾实现端到端训练的模型,更在技术层面实现了重要突破。

在5月23日的华为鲲鹏昇腾开发者大会(KADC 2026)上,BitCPM-CANN首次亮相便引发了广泛关注。如今,面壁智能决定将这一成果的全系列模型向全社会开放,为端侧大模型的发展注入新的活力。与传统BF16精度相比,BitCPM-CANN在推理阶段能够释放约6倍的显存红利,同时将模型能力保留率维持在90%至97.2%的高水平。这意味着,在相同的设备内存下,可以承载更强大的模型能力;或者,在保持相同模型能力的情况下,所需内存仅为过去的六分之一。

这一技术突破对于端侧设备,尤其是手机来说,具有重大意义。以手机为例,未来有望在手机上运行参数规模达到60B的大模型,这将极大提升手机的智能化水平。目前,“2-bit”量化已成为端侧芯片行业的研究热点,也是实现手机上运行更大参数模型的关键技术瓶颈之一。通过2-bit量化,模型权重可以被压缩6至8倍,从而能够存入手机闪存。例如,4GB内存的手机可以存放16B的模型,若配合MoE与激活范围约束技术,甚至可以存放32B的模型;若内存扩大至8GB,则模型参数可扩展至60B。

面壁智能表示,BitCPM-CANN的发布标志着其高效大模型“小钢炮”在端侧落地能力上的进一步提升。通过开源这一成果,面壁智能不仅展示了自身在低比特大模型训练领域的技术实力,更为中国端侧大模型赛道的发展贡献了一份新的力量。这一成果的开放,将有助于推动端侧大模型技术的普及和应用,为智能设备的未来发展开辟新的道路。

 
 
更多>同类内容
全站最新
热门内容