Bonsai 27B 彻底改变了本地 LLM 游戏。
1 位量化将其从 54GB 缩小到仅 3.8GB（-93%），同时保留了 90% 的智能。这太疯狂了。
通过 Fable 5 和 GPT 5.6 Sol 编写的自定义 WebGPU 内核，该模型现在可以在你的浏览器中本地运行！http://t.cn/AXKCK3nA
发布于 北京
斌叔OKmath
Bonsai 27B 彻底改变了本地 LLM 游戏。
1 位量化将其从 54GB 缩小到仅 3.8GB（-93%），同时保留了 90% 的智能。这太疯狂了。
通过 Fable 5 和 GPT 5.6 Sol 编写的自定义 WebGPU 内核，该模型现在可以在你的浏览器中本地运行！http://t.cn/AXKCK3nA