英伟达Vera与Rubin GPU搭配后整体性能提升多少?
在Agent编程等真实负载下,英伟达Vera Rubin NVL72相比上一代GB300 NVL72,每兆瓦推理吞吐最高提升30倍、每美元Token成本最低降至1/30;早期软件工程推理测试中,其总令牌吞吐量比GB200 NVL72最高提升4.8倍。
一、核心性能提升数据
每瓦与每美元效率:对比GB300 NVL72,每瓦性能提升30倍,每美元可产出Token数量提升30倍,这是英伟达在量产规格下公布的第三方智能体基准测试结果。
令牌吞吐量:在软件工程推理测试中,Vera Rubin NVL72总令牌吞吐量较GB200 NVL72最高提升4.8倍,写代码和多步推理响应速度显著加快。
训练与推理成本:训练同等规模混合专家模型所需GPU数量减少至上一代的1/4,相同延迟下推理Token成本降至1/10。
二、提升来自全栈系统协同
七芯片协同设计:Vera Rubin NVL72集成Rubin GPU、Vera CPU、Groq3 LPX推理加速器、NVLink6 Switch、BlueField-4 DPU、Spectrum-6交换机与ConnectX-9网卡,并非单芯片性能堆叠。
分工明确:Rubin GPU负责大规模上下文处理与预填充,Groq3 LPX专攻低延迟解码,Vera CPU承接工具调用与代码执行编排,三者协同消除传统架构在速度与吞吐量之间的取舍。
系统级优化:NVFP4低精度格式压缩模型权重与KV Cache,配合分布式KV Cache卸载和KV-aware路由,在单GPU HBM容量仅增约3%的条件下实现推理吞吐量大幅跃升。
三、实际部署验证
CoreWeave率先上线:Vera Rubin NVL72已在CoreWeave云服务正式投入生产,AI软件工程师Devin的开发商Cognition成为首批用户,九个月内扩展至数千块GPU规模。
部署速度:过去需要数周跑完的AI任务,现在几天即可完成,CoreWeave在数日内便搭建起生产级Vera Rubin集群。
规模化计划:谷歌云计划在多个站点将Vera Rubin基础设施扩展至96万块Rubin GPU,A5X实例已正式上线。