微软公司开源 bitnet.cpp，能在 CPU 上直接运行的超高效 1-bit 大语言模型推理框架。用户无需借助 GPU 就能在本地设备运行具有 1000 亿参数的大语言模型，实现速度提升且降低能耗。传统大语言模型部署和维护成本高，小型企业和个人用户因硬件限制难以接触，而 bitnet.cpp 降低了硬件要求。该框架支持 1-bit LLMs 的高效计算，当前支持 ARM 和 x86 CPU，未来计划扩展至其他设备。初步测试在不同 CPU 上有不同加速比且能耗减少显著。bitnet.cpp 的推出可能重塑 LLMs 的计算范式，减少对硬件依赖，为本地 LLMs 铺平道路，用户能在本地运行模型增强隐私保护，在微软“1-bit AI Infra”计划中也扮演重要角色。
开源地址：
https://github.com/microsoft/BitNet