这几天看到了不少对NVIDIA DGX Spark 的吐槽，主要是因为其内存带宽太低了。
不过ExoLab尝试了一种方法：将 NVIDIA DGX Spark 和 Apple Mac Studio 这两种不同特性的硬件组合起来用。

他的想法是：
🌟NVIDIA DGX Spark: 拥有强大的计算能力（约100 TFLOPs），非常适合执行大模型计算密集的 预填充 阶段。
🌟Apple Mac Studio: 拥有极高的内存带宽（819 GB/s），非常适合执行内存带宽密集的 解码 阶段。

当然这需要通过网络将巨大的 KV 缓存从 DGX Spark 传输到 Mac Studio，EXO 软件Pipelining技术解决了这个问题。最终用他的组合方案的速度比单独使用 Mac Studio 快 2.8倍，比单独使用 DGX Spark 快 1.9倍，成功地结合了前者的解码速度和后者的预填充速度。

详细介绍：blog.exolabs.net/nvidia-dgx-spark/

#AI创造营##AI生活指南##微博兴趣创作计划#