AI 반도체 병목이 연산에서 메모리로 옮겨갔어요

서버값 15% 인상, 엔비디아가 인정한 것

엔비디아가 주요 고객사에 서버 가격 인상을 통보했어요.

블룸버그가 8월 22일 소식통을 인용해, 엔비디아가 주요 고객사 일부에 AI 칩이 탑재된 서버 가격을 15% 넘게 올린다고 통보했다고 보도했어요. 인상분은 내년 초 출하되는 시스템부터 적용되고, 주력인 그레이스 블랙웰과 차세대 베라 루빈이 모두 대상이에요. 이유는 메모리값이었어요.

블룸버그는 이 상황을 이례적이라고 평가했어요. 엔비디아는 반도체 업계에서 가장 수익성이 높은 회사로 꼽히는데, 그런 회사가 원가 상승을 흡수하지 못하고 고객에게 넘겼으니까요.

메모리 원가 비중을 보여주는 수치도 있어요. 이번 달 출하가 시작된 베라 루빈은 시스템 원가의 62%가 메모리라는 분석이 나왔어요.

AI 반도체 경쟁의 축이 연산에서 메모리로 넘어가고 있어요. 그리고 이 변화는 지금까지 엔비디아에 밀려 있던 NPU 업체들에게도 기회가 되고 있어요.

---

AI 메모리가 HBM·HBF·SOCAMM2 세 계층으로 나뉘고 있어요

최근 증권가 자료를 보면 AI 메모리를 세 계층으로 구분해 그리기 시작했어요.

HBM은 우리가 아는 그 고대역폭 메모리예요. 가속기 바로 옆에 붙는 초고속 작업 메모리고, HBM4 기준으로 스택당 36GB에 대역폭은 2.8TB/s를 넘어요. 가장 빠르지만 가장 비싸고, 용량과 패키징에 제약이 있어요.

HBF¹는 HBM보다 느리지만 용량이 큰 계층이에요. 낸드플래시 기반이라 공개 스펙상 패키지당 최대 512GB까지 담으면서 0.4~3.0TB/s 대역폭을 목표로 해요. HBM급 속도에 훨씬 큰 용량을 붙이겠다는 발상이에요. 대신 낸드 특유의 지연 시간과 내구성 문제가 남아 있고, 아직 초기 단계예요.

SOCAMM2는 세 계층 중 나머지 하나예요. 스마트폰에 쓰이던 저전력 D램을 서버용 모듈로 재설계한 제품인데, 기존 서버 메모리 모듈인 RDIMM과 비교하면 대역폭이 2배 이상이고 에너지 효율은 75% 이상 좋아졌어요. 기판에 납땜하지 않고 커넥터로 끼우는 방식이라 모듈을 빼서 교체할 수 있고요.

용량 수치는 발표 시점과 양산 시점을 구분해서 봐야 해요. 자료에 흔히 “최대 256GB”로 적히는데, 256GB는 마이크론이 지난 3월 발표하고 고객사에 샘플을 낸 사양이에요. 실제 양산 주력은 192GB고, 삼성전자가 3월에 1b 공정으로 먼저 양산을 시작했고 SK하이닉스가 4월에 1c 공정으로 뒤따랐어요. 오히려 재미있는 건 반대 방향의 소식이에요. 저전력 D램 공급이 빠듯해지면서 엔비디아가 SOCAMM2 용량을 192GB에서 96GB로 낮추는 방안을 추진 중이라는 보도가 6월에 나왔거든요. 단독 보도라 확정으로 볼 수는 없지만, 사실이라면 상징적이에요. 부품을 못 구해서 완제품 사양을 깎는 상황이니까요.

HBM 하나로만 구성하면 문제가 생겨요. 추론에서 큰 모델을 돌리려면 모델 가중치와 대화 기록을 메모리에 통째로 올려둬야 하는데, 스택당 36GB로는 금방 한계가 와요. 더 쌓으면 되지 않느냐 싶지만, 층을 올릴수록 열이 나고 전력이 늘고 수율이 떨어져요. 값도 함께 뛰고요. 결국 “제일 빠른 메모리를 더 많이”라는 답이 물리적으로도 경제적으로도 막힌 거예요. 그러니 자주 쓰는 데이터는 HBM에, 덜 급한 큰 덩어리는 아래층에 두는 식으로 나누는 게 합리적이 돼요.

왜 이렇게 계층이 늘어날까요. AI의 무게중심이 학습에서 추론으로 옮겨갔기 때문이에요. 학습은 짧은 기간에 연산을 집중시키는 작업이라 가장 빠른 메모리가 유리해요. 그런데 추론은 큰 모델을 오래, 싸게, 계속 돌려야 하는 작업이에요. 이때는 최고 속도만 중요한 게 아니라 속도와 용량과 전기요금을 어떻게 맞출지가 중요해져요. 그래서 한 종류의 메모리로 다 처리하려던 구조가 여러 계층으로 나뉘게 된 거예요.

지난 8월 4일 미국에서 열린 메모리 학회 FMS 2026에서 SK하이닉스가 올린 기조연설 제목이 이 흐름을 그대로 보여줘요. 에이전틱 AI 시대에 계층형 메모리로 AI 인프라를 조율한다는 내용이었어요.

---