给国产芯片点个赞[good]
智谱:牛来大模型Ox-Alpha,请求流量全部由国产芯片提供算力支持。
过去一周,我们首次在大规模流量中尝试用大国产芯片集群提供服务,这些芯片通过自研高带宽互联网络连接。
与同一硬件上的初始基线相比,端到端服务性能提升了3倍,硬件效率和单token成本已达到与主流英伟达GPU相当的水平。这证明国产芯片完全可以在大规模场景下高效、经济地支撑前沿模型的推理需求。
#牛来模型确认为智谱GLM系列#
发布于 四川
给国产芯片点个赞[good]
智谱:牛来大模型Ox-Alpha,请求流量全部由国产芯片提供算力支持。
过去一周,我们首次在大规模流量中尝试用大国产芯片集群提供服务,这些芯片通过自研高带宽互联网络连接。
与同一硬件上的初始基线相比,端到端服务性能提升了3倍,硬件效率和单token成本已达到与主流英伟达GPU相当的水平。这证明国产芯片完全可以在大规模场景下高效、经济地支撑前沿模型的推理需求。
#牛来模型确认为智谱GLM系列#