Alexey Fateev 用Fable 5做优化,
在 4 块 RTX 3090 上运行 DeepSeek-V4-Flash 284B MoE 模型(2-bit 专家 GGUF 格式,大小 87 GB),速度从 15 token/s 提升到了 443 token/s
是在llama.cpp基础上调优的,优化后的项目在这里:github.com/alesha-pro/llama.cpp http://t.cn/AXoB3VnV
发布于 湖南
Alexey Fateev 用Fable 5做优化,
在 4 块 RTX 3090 上运行 DeepSeek-V4-Flash 284B MoE 模型(2-bit 专家 GGUF 格式,大小 87 GB),速度从 15 token/s 提升到了 443 token/s
是在llama.cpp基础上调优的,优化后的项目在这里:github.com/alesha-pro/llama.cpp http://t.cn/AXoB3VnV