蚁工厂
26-07-11 11:58 微博认证:科技博主

让你能在普通笔记本上跑GLM5.2模型的项目!
地址:github.com/JustVugg/colibri
colibrì 是一个用纯 C 编写的大模型推理引擎,目标是在约 25GB 内存的普通电脑上运行 GLM-5.2 744B MoE 模型。它不要求 GPU,运行时也不依赖 Python、PyTorch 或 BLAS;主要依靠 CPU、内存和 NVMe SSD。

INT4 量化。当然代价是非常慢且会频繁读写SSD。项目作者测试的 25GB 内存、约 1GB/s 磁盘环境中,速度只有约 0.05~0.1 token/s,生成一句话可能需要几分钟。

发布于 山东