这玩意啥样我已经在6个月前跟大家说了哈

NVIDIA DGX spark 终于开始出售啦！第一批预定的已经收到了。直接来看实测性能：

运行 GPT-OSS-120B (激活参数量5.1B)，模型本身 65GB, 输出速度大概是11.66 token/s，折合理论带宽使用是 29.15GB/s 当然 MoE 由于架构的原因测不出极限 (因为可能有复用的参数, 导致显存反而在等GPU)。

来看 dense 模型，dense 模型能测试出模型使用内存带宽极限，llama-3.1-70B, FP8 量化，大概75GB, 速度是 2.66 token/s 那么推理引擎的内存带宽利用率的理论极限就是 75*2.66~=199.5 GB/s

题外话，3060显卡显存带宽 360.0 GB/s.

话已至此, 各位自行评判 (上次我说老黄带宽不够良心已经被喷的体无完肤了.....)

#ai创造营##ai生活指南#