HBM之父金正浩教授：AI本质就是内存，GPU真正工作的时间只有10%（4完结）

摘自Wallstreet invest wallstreet

主持人： 有说法是，实际运行的GPU只有10%？

金正浩： 是的。即使安装了100万个GPU，实际工作时间可能只有20%，甚至10%。为什么？因为GPU需要从内存获取数据才能计算并返回结果，但数据从内存（HBM/HBF）传输不过来。当ChatGPT快速吐出单词时，每个瞬间都需要从HBM/HBF读取数据、计算、再写入，几乎全部时间都花在读写上，GPU在等待。所以关键在于能否快速读取、读取多少，这就是需要HBM和HBF的原因。无论如何改进算法，GPU实际工作可能最多只有30%，其余时间在空转。

主持人： 所以教授您主张，未来HBM或HBF内部会集成GPU功能，开启新时代？

金正浩： 是的。既然HBM/HBF的数据让GPU在等待，那不如我们自己计算。就好比在公寓一楼安装GPU，数据坐电梯下来计算，整栋楼里解决所有事，不用去别的地方，省去了奔波时间。所以主张在HBM里放入CPU/GPU功能，甚至让GPU“靠边站”。当然不能让GPU完全没事做，要适当分工，让它“一直保持渴求状态”。这就是我所说的“Memory-Centric Computing”（以内存为中心的计算）。从HBM4开始，已经在朝这个方向做了。

主持人： 即使HBM/HBF里集成了GPU功能，因为没有堆叠多个GPU，散热问题应该不存在吧？

金正浩： 还是会有一点散热问题。所以从HBM4开始，SK海力士和三星制造的产品性能可能会有差异，这和散热有关——能否有效排出热量。因为在一楼（内存层）集成了部分GPU功能，那里太热，内存就像坐在“暖炕”上，性能会下降，必须给暖炕降温。谁能更好地冷却，将决定HBM4及以后产品的性能差异，GPU也是如此。所以我们实验室的想法是，既然一层太热，不如把部分功能移到“屋顶”（顶层），在上面加装冷却塔，从顶部直接冷却。这是我们的核心架构之一，目前在HBM5相关研究中，硕博士们正在进行这项研究，希望能大获成功。

我们发表这些论文后，NVIDIA、AMD、三星、海力士都会看到，起初可能排斥，但发现没有别的办法，最终会采纳。

主持人： 如果教授所说的HBM/HBF内部集成GPU的未来到来，甚至以后集成CPU，那三星电子和SK海力士应该会发展得更好吧？

金正浩： 是的，机会正在到来。“发展得更好”意味着掌握更多主导权，甚至可能超越NVIDIA。但要实现这一点，需要技术开发、投资、人才培养，以及良好的政策判断和经营管理层的开放思维和正确判断。管理层的判断最重要。

主持人： 教授主张“即将进入内存时代而非GPU时代”，这似乎已经开始了。另外，最近GPU势头很猛，但也出现了NPU，NPU是什么？

金正浩： 都是处理器，用于矩阵计算，都用于AI。GPU原本是GPGPU，TPU里也包含HBM，所以都离不开HBM、离不开内存。Gemini能写文章、处理语言模型、画画，功能多样；而有些芯片只擅长写文章，为特定目的简化，就是NPU。也有人叫LPU。它们都是AI所需的计算器，根据特殊用途做得更小、功耗更低、成本更低。国内有Rebellions、FuriosaAI、HyperExcel等公司，全球大约有十几家做NPU的，但无论Rebellions还是FuriosaAI，为了高性能都必须使用HBM。

主持人： 最近FuriosaAI和Rebellions获得了国民成长基金的大规模投资，这是要让它们真正和NVIDIA一较高下。这两家公司真有全球竞争力吗？

金正浩： 我当时是评审委员之一。这个决策有这样的考量：NVIDIA无法掌控全世界所有领域，NPU、TPU等肯定存在利基市场。比如沙特阿拉伯建数据中心，如果全部用美国产品，依赖度太高，所以可能将其中10%采用其他解决方案，韩国NPU企业可以成为候选。另外，韩国国内建设AI数据中心（可能需要百万台设备），如果100%都用NVIDIA芯片，我们对海外的依赖度太高，需要培育本土企业。所以决定投资以培育国内企业。总体概括就是这样。技术上也有其优点。

主持人： 教授您最近的研究中提出了“高带宽SRAM（HBS）”的概念？

金正浩： 是的，这是我最近提出的新概念。像之前提到的，我提出概念，但要实现需要三星、SK海力士等公司的大量努力。这些概念往往在10年、20年后会产生重大影响。我提到过Cerebras，有巨大的GPU，美国也有叫LPU的芯片。它们为了自尊心或减少对HBM的依赖，在GPU内部集成了SRAM作为内存。SRAM比DRAM快约1000倍，但容量小。我研究了一下，无论是Cerebras还是LPU，都面临SRAM容量不足的问题。据我了解，整个12英寸晶圆做成的Cerebras芯片，SRAM也只有44GB，而我认为至少需要400到440GB才有意义。

所以我的想法是：制造一个将整个12英寸晶圆铺满SRAM的芯片，然后再把它堆叠10层、12层或16层。这样100GB就能变成1600GB，容量惊人。然后在这个晶圆级SRAM堆叠体上再放置GPU。速度是千倍之快，容量又足够，这主意听起来可行。所以我把这个晶圆级SRAM称为HBS。我未来的梦想是：HBM、HBF、HBS都变成100层高的大楼，GPU放在最顶层，冷却系统等也集成在一起，这种3D半导体结构将不可避免地成为未来AI计算机的架构。

这可能需要10年、20年甚至30年。其中最困难的技术之一就是供电。在HBS、HBM上面堆叠GPU，需要供应数千安培电流，电力供应网络设计将是最困难的，这将成为技术核心竞争力。SK海力士、三星、Micron、TSMC都一样，其次是如何散热，这是实现过程中的障碍。目前人们关注TSMC和三星谁在几纳米工艺上做得好、良率如何，但未来，对于包含HBS在内的3D AI计算机，如何供电、如何冷却，将决定企业的生存。

主持人： HBS简直是内存半导体领域的“黄政民”（比喻大腕）。

金正浩： 是“黄政民”没错。我10年前就听说Cerebras用12英寸晶圆做GPU，当时心想“什么？这能用在哪儿？”大概是国防AI吧。当时我还挺自大。但两周前，这家公司在纳斯达克IPO了，让我改变了想法。还是有用途的。既然Cerebras芯片最大的弱点是内存不足，那就把它也堆叠起来。有一天早上我有了这个想法，让学生画了图。最近开始谈论HBF，等今年硕士新生入学，我打算让他们开始以HBS作为硕博士论文研究方向。

主持人： 那SRAM由谁制造？

金正浩： 由代工厂制造，TSMC和三星电子都会做。

主持人： 今年三星和SK海力士的合计营业利润据说在500到600万亿韩元之间，这是现实的目标还是过于乐观的展望？

金正浩： 我认为是现实的。我经常与三星和海力士的高管进行技术会议，感觉他们的眼神越来越亮。虽然他们不和我谈具体的销售额。现在HBM、HBF的一个重要特点是“定制化HBM”。以前是制造标准化产品，大量生产，客户买多买少，价格波动，这叫“周期”。内存厂商不主导，而是由CPU厂商、微软或电脑厂商决定购买数量，我们只能多生产一些观望，如果客户不买，库存压力就在我们身上，这就是“内存周期”。

但从HBM4开始，不仅集成GPU功能，另一个重要功能是HBM之间可以相互通信。以前只做GPU指令的事，现在主张它们之间也要沟通。未来，HBM之间可以竞争，把更多内存分配给表现更好的HBM。也就是说，它们内部形成组合，不给表现差的HBM向GPU传递数据的机会。总之，随着这些算法、通信功能、GPU功能的加入，每个公司（谷歌、AMD、NVIDIA）对HBM的设计要求都不同，这就是定制化HBM。这样在开发初期就签订了长期供货协议（LTA），没有订单就不开始开发。

现在AI企业极度需要高性能HBM，所以排队求购，市场变成了卖方市场，供方定价。这是一种范式转变。

主持人： 到现在为止，我们与KAIST金正浩教授就半导体生态进行了对话。感谢您今天的分享。

金正浩： 谢谢。