用户分享:
KAIST电气工程教授,IEEE fellow,被誉为“HBM之父”,在HBM的信号完整性、TSV和3D封装领域有长期领先研究贡献的金正浩教授,在最近一次采访中说到,
1. GPU在AI(尤其是推理阶段)利用率低,实际有效工作时间只有10%
2.剩余90%的时间,GPU都在等待内存中的数据到来,基本上是在闲置
3. AI输出一个单词的答案时,都需要从HBM读取数据并重新写入,而这个读写时间几乎占用了全部时间
4. 即使优化算法,GPU也很难超过30%的利用率
金教授强调“AI能力最终由内存决定”,
AI本质上就是内存。
(转自市值风云App社区,仅做内容分享,不构成操作建议)
#A股#
#牛市#
#投资感悟#
#AI概念股#
#牛市炒股就用市值风云App#
