聊 AI 基础设施时,HBM 一直是最容易被看到的焦点。它离 GPU 最近,带宽也最高,训练和推理系统要把性能拉起来,离不开这一层支持。但到了今天,大模型继续变大、上下文窗口继续拉长,AI 系统面对的问题已经不只是“算得够不够快”,而是“数据能不能装得下、供得上、扩得开”。也正因为这样,HBM 之外,SSD 在 AI 系统里的位置正在被重新认识。 http://t.cn/AXxOVTvA
发布于 上海
聊 AI 基础设施时,HBM 一直是最容易被看到的焦点。它离 GPU 最近,带宽也最高,训练和推理系统要把性能拉起来,离不开这一层支持。但到了今天,大模型继续变大、上下文窗口继续拉长,AI 系统面对的问题已经不只是“算得够不够快”,而是“数据能不能装得下、供得上、扩得开”。也正因为这样,HBM 之外,SSD 在 AI 系统里的位置正在被重新认识。 http://t.cn/AXxOVTvA