深蓝财经
25-02-01 16:15 微博认证:深蓝财经官方微博(www.mycaijing.com.cn)

北京时间1月31日,英伟达突然甩出一记重磅炸弹——在官网发布了搭载De­e­p­S­e­ek R1 671b的“英伟达NIM微服务”预览版,并毫不吝啬地夸赞De­e­p­S­e­ek-R1的推理能力堪称“业界顶流”。消息一出,整个AI圈瞬间沸腾!

英伟达表示,NIM微服务在单个HGX H200系统上,每秒能处理多达3872个to­k­e­ns,这速度简直像坐上了火箭,把不少同类模型远远甩在身后。而且,英伟达大手一挥,邀请开发者们赶紧来对API进行测试、搞实验。用不了多久,英伟达AI En­t­e­r­p­r­i­se软件平台也会接入相关API,到时候,NIM微服务就能正式作为可下载的服务和大家见面啦