NVIDIA DGX Spark 和 Mac Studio 合体?

大家都知道大模型计算过程分为 prefill 和 decode 两部分，prefill 是计算密集的，所以 GPU 性能是瓶颈， 而 decode 是内存密集的，所以内存带宽是瓶颈。

于是 exo (就只是前把8台 Mac Studio 串在一起运行 DeepSeek 那个框架) 又整了个活， prefill 用 NVIDIA DGX Spark, 因为机器算力达到 1PFLOPS. decoding 用 MAC Studio, 因为统一内存带宽能达到 800GB/s.

方案是 NVIDIA DGX Spark 进行 prefill 的时候，就把每层 KV Cache 传输给 MAC Studio, 传输完毕后 Mac Studio 就可以开始 decode 了. 经过测试速度提升了2.8x.

我们来计算下：对于 Llama-3.1 8B 模型（其包含 32 层，隐藏层大小为 4096），在使用 FP16 数据精度的情况下，对于具有 8192 个标记序列的单个层，KV 缓存大小为 128MB。 对于整个模型而言，在这些条件下，总的 KV 缓存大小为 4.00GB。

所以即使将模型扩展到现在大型MoE的水平，其实网络传输压力也不大。

但是，如果遇到 prefill 和 decode 强烈不对等的情况，尤其是甚至小于 KV Cache 传输时间的情况，这种设计就没什么意义了。以及，这种设计最大的好处是，可以很好的在多个并发的情况下承载请求。DGX Spark 在 decode 完毕后可以继续 decode 其他请求，充分利用性能。

不过我的问题还是：这么折腾，不如买4个5090如何？

以及需要提醒一句，exo 这个项目，其实已经被官方放弃了，已经6个月没更新了，github 上的 issue 也没人管。

#ai创造营##ai生活指南#