最近黄仁勋经常提到一个词,叫做极致协同设计,也就是 Extreme Co-Design,这可以说是 Nvidia 筑起生态护城河的关键。
简单来说,以前做硬件和软件是各做各的,分层很明显。而 Nvidia 的做法是把芯片、机架、网络和软件全部放在一起,当成一个整体来设计。
这里面有三个核心支撑。首先是芯片层面,Nvidia 设计的 GPU 和 DPU 专门针对大规模并行计算,把张量核心和高带宽内存的效率发挥到极致。其次是机架和网络层面,像 DGX 这样的系统,把服务器、NVLink 互联和以太网融合成一个超低延迟的整体网络,让成千上万颗 GPU 像一个大脑一样协同工作。最后是软件层面,大家熟知的 CUDA 和 TensorRT 能够直接调用底层硬件的每一分潜力,让算法完美贴合硬件运行。
这种端到端的协同,让整个 AI 系统不再是零散零件的拼凑,而是一台精密运转的超级引擎。它的最终目的非常务实,就是通过提升每瓦特和每美元的 AI 吞吐量,把大模型每个 token 的生成成本打下来。
在 AI 算力需求暴涨的今天,这种全栈打包的打法确实让对手很难追赶。
#AI算力##大模型成本##极致协同设计##AI技术[超话]# http://t.cn/AXSHxQoD
发布于 上海
