微软开源 BitNet b1.58 1-bit LLM 推理框架 bitnet.cpp

微软发布 1-bit LLM 推理框架 bitnet.cpp，支持 BitNet b1.58 等模型在 CPU 和 GPU 上的快速无损推理。该框架在 ARM CPU 上提速 1.37x 至 5.07x，能耗降低 55.4% 至 70.0%；在 x86 CPU 上提速 2.37x 至 6.17x，能耗降低 71.9% 至 82.2%。