HBM이란무엇인가?

HBM이란 무엇인가

 

 

요즘 반도체나 AI 관련 기사에서 HBM이라는 말을 정말 자주 보게 된다. HBM은 High Bandwidth Memory, 말 그대로 대역폭이 매우 큰 메모리다. 쉽게 말하면, 연산 칩이 필요로 하는 데이터를 훨씬 더 빠르게 공급하기 위해 만든 DRAM이라고 보면 된다. 특히 CPU보다도 GPU, TPU, AI 가속기처럼 한 번에 엄청난 양의 데이터를 처리해야 하는 칩 옆에서 진가를 발휘하는 메모리다.

HBM의 핵심은 단순히 “메모리 속도를 올렸다”가 아니다. 구조부터 다르다. 일반적으로 HBM은 여러 개의 DRAM 다이를 수직으로 쌓고, 그 사이를 TSV(실리콘 관통 전극)로 연결한다. 그리고 이 메모리를 GPU나 AI 칩과 같은 패키지 안에 아주 가깝게 배치한다. 삼성의 설명처럼 실제 HBM 모듈은 실리콘 인터포저 위에 로직 칩과 함께 올라가는 형태로 구성되며, 이런 고급 패키징이 높은 집적도와 낮은 지연, 더 나은 전력 효율을 가능하게 만든다.

 

이걸 도로에 비유하면 이해가 쉽다. 기존 메모리가 “차를 더 빨리 달리게 하는 방식”에 가까웠다면, HBM은 차선 자체를 엄청 넓히는 방식에 가깝다. Micron의 HBM2E 자료를 보면 HBM2E는 I/O 폭이 1,024이고, 같은 표에서 비교된 GDDR6(X)는 32다. 메모리 대역폭도 HBM2E 디바이스 기준 410GB/s, GDDR6(X)는 64GB/s로 제시된다. 즉, HBM은 핀 하나하나를 무작정 더 빠르게 돌리기보다, 한 번에 오갈 수 있는 통로를 크게 넓혀서 대역폭을 확보하는 철학이 강하다.

 

HBM이 특히 주목받는 이유는 AI 시대의 병목이 연산 자체보다 메모리 공급에서 자주 발생하기 때문이다. 칩이 아무리 계산을 잘해도 필요한 데이터를 제때 못 받으면 성능이 막힌다. Micron은 HBM을 “메모리와 프로세싱 사이의 최대 대역폭이 필요한 응용처를 위한 DRAM”으로 설명하고 있고, 실제 적용 분야로 AI, HPC, 데이터센터를 직접 언급한다. 결국 HBM은 “AI 반도체의 두뇌를 더 똑똑하게 만드는 기술”이라기보다, 그 두뇌가 굶지 않게 데이터를 퍼 넣어주는 기술에 가깝다.

 

장점은 분명하다. 첫째, 대역폭이 매우 크다. 둘째, 칩과 메모리 사이 거리가 짧아져 전력 효율이 좋아진다. 셋째, 같은 면적 안에 더 많은 메모리를 넣을 수 있어 공간 효율도 높다. Micron은 자사 HBM3E 12단 36GB 제품이 1.2TB/s 이상의 대역폭을 제공한다고 설명하고 있고, AMD는 자사 Instinct MI325X 가속기가 256GB HBM3E와 6TB/s급 메모리 대역폭을 갖는다고 밝히고 있다. 이 정도면 왜 AI 서버에서 HBM이 중요한지 감이 온다.

 

물론 HBM이 무조건 좋은 것만은 아니다. 구조가 복잡한 만큼 만들기 어렵고 비싸다. 3D 적층, TSV, 인터포저, 고급 패키징이 다 들어가니 제조 난도가 높고, 메모리와 프로세서를 함께 정밀하게 통합해야 해서 설계와 생산도 까다롭다. Micron이 후원한 IDC 백서도 HBM의 과제로 높은 제조 비용과 통합 복잡성을 꼽고 있다. 그래서 HBM은 아직 일반 소비자용 PC 메모리라기보다, 비용을 감수하더라도 성능이 더 중요한 AI 가속기·슈퍼컴퓨터·고성능 데이터센터 중심으로 쓰이는 메모리라고 보는 게 맞다.

 

HBM은 세대도 계속 진화하고 있다. SK hynix는 2026년 기준으로 HBM이 HBM, HBM2, HBM2E, HBM3, HBM3E, HBM4까지 이어진다고 소개했고, HBM4는 2,048 I/O를 바탕으로 이전 세대 대비 대역폭을 더 끌어올리는 방향으로 발전하고 있다고 설명했다. 결국 HBM의 흐름은 분명하다. 앞으로 AI 모델이 더 커지고, GPU가 더 강해질수록, 그 연산 성능을 제대로 받쳐줄 메모리도 함께 진화해야 한다는 것이다.

 

정리하면 HBM은 그냥 “빠른 메모리”가 아니다. 여러 개의 DRAM을 수직 적층하고, 연산 칩 바로 옆에 붙여, 짧은 거리에서 엄청난 양의 데이터를 한꺼번에 주고받게 만든 메모리다. AI 시대에 HBM이 중요해진 이유도 간단하다. 이제 반도체 경쟁은 계산 성능만의 싸움이 아니라, 그 계산에 필요한 데이터를 얼마나 빠르게 공급하느냐의 싸움이 되었기 때문이다. 그래서 HBM은 AI 반도체 시대의 핵심 부품으로 계속 언급될 수밖에 없다.