TMD还得靠棒子的小作文[二哈]

인공지능(AI) 반도체 고질적 난제로 꼽히는 '메모리 월(Memory Wall)'을 허물기 위한 해법으로, 그래픽처리장치(GPU)와 고대역폭메모리(HBM)를 떼어내 따로 패키징하는 방안이 국내외 메모리·패키징 업계에서 논의되고 있다. 그동안 GPU 바로 옆에 붙여 온 HBM을 일정 거리 떨어뜨리는 대신, 그 사이를 '빛(옵티컬)'으로 연결해 지금보다 수 배 더 많은 HBM을 탑재하는 것이 뼈대다.
作为打破“内存墙”的解决方案，这被认为是人工智能（AI）半导体中的一个长期问题，国内和国际内存和封装行业正在讨论将图形处理器（GPU）和高带宽内存（HBM）分开并单独封装的计划…框架不是将附着在GPU旁边的HBM降低一定距离，而是将其连接到“光”上，安装比现在多几倍的HBM。

22일 한 국내 대형 메모리 제조사 연구원은 "현재 HBM 대역폭과 용량 확대에 어려움을 겪고 있는데, 이를 광연결로 GPU의 쇼어라인(Shoreline) 한계를 극복하고 HBM을 보다 많이 탑재하는 안을 고객사와 논의하고 있다"고 밝혔다. 쇼어라인은 테두리 길이를 말한다.
22日，国内一家大型内存制造商的研究人员表示，“我们目前在扩展HBM带宽和容量方面遇到困难，我们正在与客户讨论一项计划，通过光连接克服GPU海岸线的限制，安装更多的HBM。海岸线指边界长度。

현재 AI 컴퓨팅 환경에서 연산효율을 떨어뜨리는 핵심요인은 메모리 반도체의 데이터 전송속도다. 연산장치인 GPU 성능은 세대를 거듭하며 비약적으로 성장하는 반면, 데이터를 저장하고 공급하는 메모리 속도가 이를 따라가지 못하며 구조적 성능 장벽(메모리 월)이 형성됐다. 대규모 데이터 통로를 확보한 HBM 등장으로 급한 불은 껐지만 폭증하는 AI 연산량을 감당하기에는 여전히 대역폭과 전송속도가 부족하다는 지적이 이어지고 있다.
当前AI计算环境中降低计算效率的关键因素是内存半导体的数据搬迁速度。虽然计算设备GPU性能随着每一代都大幅增长，但存储和供应数据的内存速度跟不上，形成了结构性能障碍（内存墙）。随着确保了大规模数据通道的HBM的出现，紧急火灾已经被扑灭，但指出带宽和传输速度仍然不足以处理快速增加的AI计算量。

엔비디아의 GPU 서버 내부 모습 (사진=엔비디아)
Nvidia的GPU服务器内部（照片=Nvidia）
그동안 반도체 업계는 한정된 공간에서 메모리 용량과 대역폭을 늘리기 위해 HBM을 수직으로 높게 쌓는 단수 확대에 집중해 왔다. 그러나 12단, 16단을 넘어 20단 이상으로 적층 수가 늘면서 공정 난도는 기하급수적으로 올라갔다. 제한된 높이 규격을 맞추기 어려워지는 등 물리적 한계에 봉착했다. 국제반도체표준협의기구(JEDEC)가 HBM 높이 규격을 완화할 만큼 수직 적층 기술은 임계점에 도달했다.
到目前为止，半导体行业一直专注于通过垂直堆叠HBM来扩大步数，以在有限的空间内增加内存容量和带宽。然而，随着堆叠数量从12层和16层增加到20层以上，工艺难度呈指数级增加。遇到了物理限制，例如难以满足有限的高度规范。垂直堆叠技术已经到了一个临界点，以至于国际半导体标准委员会（JEDEC）放宽了HBM高度规范。

더 큰 문제는 단수를 높이지 못할 경우 GPU 주변에 HBM의 수를 수평으로 늘려야 하지만, 이마저도 불가능하다는 점이다. 현재 2.5D 패키징 구조에서는 GPU와 HBM이 하나의 기판 위에 밀착해 탑재된다. 이 구조에서는 GPU 칩 테두리의 한정된 길이, 즉 쇼어라인 영역 내에 배치할 수 있는 HBM 수량이 엄격히 제한될 수밖에 없다. 더 많은 HBM을 탑재하고 싶어도 물리적으로 배치할 공간이 허락되지 않는 구조적 교착상태에 빠진 것이다.
更大的问题是，如果不能增加单元数量，GPU周围的HBM单元数量必须水平增加，但即使这样也不行。在目前的2.5D封装结构中，GPU和HBM紧密安装在一块板上。在这种结构中，GPU芯片边框的有限长度，即可以放置在海岸线区域内的HBM数量，必然会受到严格限制。即使我们想安装更多的HBM，我们也处于不允许物理放置空间的结构僵局中。

국내외 반도체 업계에서 떠오른 대안이 GPU와 HBM을 분리해 따로 패키징하는 방안이다. 데이터 전송시간을 최소화하기 위해 칩 옆에 밀착해야 한다는 기존 반도체 설계를 뒤집는 발상이다. 두 칩을 분리해 거리를 두는 대신, 압도적으로 빠른 빛 신호를 이용해 연동함으로써 늘어난 물리적 거리를 극복하는 메커니즘이다.
国内和国际半导体行业出现的一种替代方案是将GPU和HBM分开封装，其思路是推翻现有的需要与芯片紧密接触以最小化数据传输时间的半导体设计。而不是将两个芯片分开和拉开距离，而是通过使用压倒性快速的光信号将它们连接起来来克服增加的物理距离的机制。

HBM을 GPU 보드 내에서 조금 떨어뜨려 배치하면 GPU 쇼어라인 한계에서 자유로워진다. 공간 제약이 사라져 단수를 무리하게 높이지 않고도 HBM을 옆으로 넓게 펼쳐 지금보다 수 배 이상 많은 양을 보드 안에 탑재할 수 있다. 이는 AI 가속기 시스템 전체 메모리 용량과 데이터 대역폭이 지금과 비교할 수 없을 정도로 급격히 확대됨을 의미한다.
如果HBM被放置得离GPU板稍远一点，它就会摆脱GPU海岸线的限制。空间限制消失，允许HBM横向展开并以比现在大几倍的数量安装在板上，而不会不合理地增加单元数量。这意味着AI加速器系统的整体内存容量和数据带宽比今天迅速扩展。

"HBM, GPU 밑단 배치 논의"…폼팩터 변화할 수도
“HBM讨论GPU底部放置…”外形尺寸可能会改变

현재 업계에선 HBM을 GPU 보드 내부 어디에 놓을지를 두고 다양한 아키텍처 설계안이 도출되고 있다.
目前，业界正在根据HBM将被放置在GPU板中的位置来制定各种架构设计计划。

앞선 메모리 연구원은 "GPU 바로 주변 공간을 넓게 활용하는 방안부터, GPU 보드 밑단으로 격리하는 방안 등이 논의되고 있다"며 "후자(GPU 보드 밑단으로 격리하는 방안)의 경우, 메인보드를 세로로 길게 확장해야 해 전반적인 폼팩터 변형까지 GPU 업체와 논의 중"이라고 말했다. 구체적으로 HBM이 수 센티미터(cm) 떨어진 상태에서 GPU를 둘러싸거나, 보드 중앙에 따로 HBM 영역을 만든다는 설명이다.
一位前内存研究人员表示，“正在讨论广泛利用GPU周围的空间并将其隔离到GPU板底部的计划，”并补充说，“在后者的情况下（计划将其隔离到GPU板底部），主板必须垂直扩展。”“我们正在与GPU公司讨论修改整体外形尺寸，”他说。具体来说，HBM解释说，它围绕GPU几厘米（cm）远，或者在板的中心创建一个单独的HBM区域。

그는 "모든 경우의 수를 열어두고 최적 배치를 논의하고 있다"며 "아직 공식 로드맵으로 확정된 것은 아니지만, 차세대 AI 가속기 구현을 위한 선행연구 차원에서 파트너와 얘기를 나누고 있다"고 덧붙였다.
他补充说，“我们正在公开所有案例的数量，并讨论最佳部署。尽管它尚未被确认为官方路线图，但我们正在与我们的合作伙伴就实施下一代人工智能加速器进行先前研究层面的讨论。”

젠슨 황 엔비디아 CEO가 GPU 보드를 들고 있다 (사진=뉴시스)
NVIDIA首席执行官Jensen Hwang持有GPU板（Photo=Newsis）
외주반도체패키징테스트(OSAT) 업계도 이 같은 흐름을 예의주시하고 있다. 글로벌 OSAT 업체 한 관계자는 "광연결은 명확한 흐름이다. 다만 문제는 시점"이라며 "랙과 랙, 그리고 서버와 서버가 먼저 빛으로 연결되고 그 다음 보드 안에 있는 칩끼리 빛으로 이어질 것"이라고 전망했다. 이어 "큰 단위부터 빛으로 연결되겠지만, 현재 옵티컬 연구 속도가 매우 빨라 그리 먼 얘기는 아닐 수 있다"고 기대했다.
外包半导体封装测试（OSAT）行业也在密切关注这一趋势。一位来自全球OSAT公司的官员表示，“光连接是一个明确的流程。然而，问题是时机，”并预测，“机架和机架，以及服务器和服务器，将首先通过光连接，然后板内的芯片将通向光。”他继续说，“它将通过来自大型单元的光连接，但目前的光学研究速度非常快，因此可能不会那么远。”#a股#