微软开源 1bit 大模型推理框架! 现在 1000 亿参数大模型量化后单 CPU 可跑,速度可达每秒 5-7 个 token。 比如在苹果 M2 新品上运行 BitNet b1.58 3B 模型,be like: 就是今年爆火论文 The Era of 1-bit LLMs 的官方代码实现,开源不到一周 GitHub 已揽获 7.9k Star。 传统大模型 ...
速度可达每秒 5-7 个 token。 比如在苹果 M2 新品上运行 BitNet b1.58 3B 模型,be like: 就是今年爆火论文 The Era of 1-bit LLMs 的官方代码实现,开源不到一周 ...