HBM(High Bandwidth Memory)이란?

 

HBM(고대역폭 메모리)은 D램 칩을 수직으로 겹겹이 쌓아 올려 실리콘 관통 전극(TSV, Through-Silicon Via)이라는 미세한 통로로 연결한 초고속·고성능 메모리 반도체입니다.

기존 메인보드 슬롯에 꽂던 D램과 달리, 연산 장치(GPU, NPU) 바로 옆에 2.5D 패키징(인터포저) 형태로 밀착 배치하여 대용량 데이터를 순식간에 주고받도록 설계되었습니다. AI 모델 학습 및 추론처럼 엄청난 양의 데이터 연산이 필요한 환경에서 메모리 병목 현상을 해결하는 핵심 부품입니다.

HBM vs DDR: 핵심 차이점 비교 분석

DDR(Double Data Rate)과 HBM은 데이터를 처리하는 "도로의 구조" 자체가 다릅니다.

구분	DDR (DDR5)	HBM (HBM3E / HBM4)
기본 구조	단일 칩을 기판(DIMM)에 평평하게 장착	여러 D램을 수직 적층(TSV 연결)
데이터 버스 폭 (도로 폭)	64-bit (데이터 통로 64개)	1024-bit ~ 2048-bit (통로 1,024~2,048개)
모듈당 대역폭 (전송 속도)	약 30~60 GB/s 수준	1.2 TB/s ~ 2.0 TB/s 이상
장착 방식	메인보드 슬롯에 삽입 (거리 멀음)	GPU 옆 인터포저 위 밀착 배치 (거리 매우 가까움)
전력 및 면적 효율	면적을 많이 차지하며 전력 소모 높음	공간을 획기적으로 줄이고 전력 효율 높음
주요 용도	PC, 일반 서버, 모바일	초거대 AI 데이터센터, High-Performance GPU

• 도로 폭의 차이: DDR이 '속도는 빠르지만 64차선에 불과한 고속도로'라면, HBM은 '1,024~2,048차선에 달하는 압도적 왕복 차선'입니다.
• 거리의 차이: DDR은 CPU/GPU와 전선 거리가 길어 지연 시간이 생기지만, HBM은 GPU 바로 옆 1mm 이하의 거리에서 직접 고속 통신합니다.

HBM의 발전 과정 (세대별 요약)

HBM은 핀당 속도 향상과 적층 단수 증가를 거쳐 발전해 왔습니다.

HBM1 (1세대) ──> HBM2/2E (2세대) ──> HBM3 (3세대) ──> HBM3E (4세대) ──> HBM4 (5세대)
 (128GB/s)       (307~461GB/s)      (819GB/s)        (1.2TB/s)        (2.0TB/s+)

1. 1세대 (HBM1, 2013년): SK하이닉스가 세계 최초로 개발. 4단 적층 구조로 대역폭 128GB/s 구현.
2. 2세대 & 2E (HBM2 / HBM2E): 데이터 처리 속도가 크게 향상되고, 8~12단 적층으로 용량이 대폭 확대.
3. 3세대 (HBM3): AI 붐과 함께 본격 채택. 스택당 819GB/s 대역폭으로 NVIDIA H100 GPU 등에 탑재.
4. 4세대 (HBM3E): 현재 AI 서버 시장의 주력 메모리. 1024-bit 버스를 유지하면서 핀당 속도를 9.6~10Gbps 이상으로 끌어올려 스택당 1.2TB/s 대역폭 달성.
5. 5세대 (HBM4): 13년 만의 가장 거대한 구조 혁신. 데이터 버스 폭이 기존 1024-bit에서 2048-bit로 2배 확대되었으며, 맨 아래 제어 칩(Base Die)을 메모리 공정이 아닌 파운드리 첨단 로직 공정(TSMC 3나노/4나노 등)으로 제작합니다.

최신 HBM 기술과 글로벌 주도 기업

1. 최신 HBM4의 기술적 특징

• 2048-bit 버스 확장: 도로 폭이 2배 넓어져 스택당 대역폭이 2TB/s~3TB/s 이상으로 폭증.
• 맞춤형(Custom) 베이스 다이: 메모리 컨트롤러와 맞춤형 회로를 파운드리 로직 공정으로 찍어내어 전력 효율과 연산 효율 극대화.
• 12단~16단 하이 테크 적층: 칩 사이를 열로 굳히는 에폭시 신소재 기술(MR-MUF 등)이나 하이브리드 본딩을 적용해 발열 및 수율 한계 극파.

2. 최신 기술을 가장 완벽히 구현한 회사: SK하이닉스 & TSMC 원팀

• SK하이닉스: HBM3 및 HBM3E 시장 점유율 1위를 기록하며 선도 지위를 유지해 왔습니다. 방열 성능을 획기적으로 올린 Advanced MR-MUF 공정으로 수율 경쟁에서 가장 앞서 나갔으며, HBM4 분야에서도 TSMC와의 파운드리 협업을 통해 맞춤형 로직 베이스 다이를 결합한 제품 상용화를 주도하고 있습니다.

3. 이를 가지고 새로운 AI 장비(가속기)를 만든 회사: NVIDIA

• NVIDIA: 최신 HBM3E와 HBM4를 탑재한 초거대 AI 가속기 플랫폼을 연이어 선보였습니다.
• Blackwell (B200 / B300 시리즈): HBM3E 8개를 결합해 192GB 이상의 대용량 고대역폭 메모리 시스템 구축.
• 차세대 Vera Rubin (베라 루빈) 플랫폼: HBM4 메모리를 탑재하도록 설계된 최첨단 AI 슈퍼컴퓨팅 가속기로, 전 세계 AI 데이터센터 인프라의 표준으로 자리 잡고 있습니다.