肥耳腩多Fernando
26-08-30 20:42

华硕双机 GX10(类 dgx spark 的 gb10机子)1T版入手差不多一周了,说点体验:
1,安静,放桌面跑没问题,除了多并发高功耗撞温度墙时,基本不会留意到风扇噪音
2,散热还是不太行,双机叠放进一步加大积热因为机子是从底部进风,想避免撞温度墙一定要加个迷你主机路由器用的那种风扇散热底座(看上了猫头鹰那款但是一个就要500多元。。。。。。
3,双机tp2部署带来的decode速度收益并不是两倍,大概在单机的 1.5 到 1.7倍之间,prefill速度双机完全不会涨,但可以有更大的kv池和更多的并发数(单机完全塞不下的模型另说
4,双机带来的收益最主要就是塞下更大规模的模型,但是 gb10 一直被诟病的内存带宽又部分抵消了这个优势,个人居家使用基本上用不到那么大规模的模型
5,不用反复折腾试玩各种模型的话,1T版绝对足够。但是不折腾的话,乐趣又从何而来呢
6,真挺好玩的,前提是有AI帮你抽它们
接下来会把Qwen3.8 27B、Qwen3.8 Flash Next、Deepseek V4 Flash 和 Glm5.3 Flash 这几个模型的部署实战做一个报告,大概还需要几天的时间吧

发布于 葡萄牙