qwen3.8-27b本地部署相当实用啊!
测试了 @karminski-牙医 的大象牙膏prompt,效果很喜人。第二个视频是我让它改了一次的效果。下面视频分别是它第一次提交和我让它小修改后的样子。中间它一路写小脚本debug,似乎很强。
测试条件:
* 显卡:RTX4090 24GB
* 推理引擎:llamacpp
* 权重:unsloth/Qwen3.8-27B-UD-Q4_K_S.gguf
* 档位:xhigh
* KV缓存量化配置(我开得比较激进):-ctk q4_0 -ctv q4_0
* harness: github.com/leosongwei/Trilobite(自制的,比较素)
* 上下文长度:180k(触发compact,执行过程中最后阶段compact过一次)
会话历史和产物见gist:gist.github.com/leosongwei/30f16f14ba267efd31db00bb1d53e433
推理速度也非常不错,到末段大概170k时还能维持将近30token/s。
发布于 广东
