得益于 llama.cpp，用之前一直闲置的 Mac Studio M1 Ultra 跑了 14B Q5量化的模型推理，这个 token……堪堪够用吧，等回头看看 M2 Ultra 能否好一些。
发布于 加拿大
Funnunculus