蚁工厂
26-07-08 19:26 微博认证:科技博主

Alexey Fateev 用Fable 5做优化,
在 4 块 RTX 3090 上运行 DeepSeek-V4-Flash 284B MoE 模型(2-bit 专家 GGUF 格式,大小 87 GB),速度从 15 token/s 提升到了 443 token/s

是在llama.cpp基础上调优的,优化后的项目在这里:github.com/alesha-pro/llama.cpp http://t.cn/AXoB3VnV ​

发布于 湖南