南国羽
26-07-15 22:24

昨晚睡觉前看到PrismML发了Bonsai 27B 1bit量化版本,本来想试试,太困没搞。
今下午有时间,让Claude Code移植到我的mobileLLM。 CC一直给我说不可能在16 Pro跑通 27B,我不信偏要跑通。怎么说呢,是跑通了!确实又卡又发热。这MLX容易搞dirty page啊,准备过几天上llama.cpp ​

发布于 奥地利