AI 데이터센터에 드는 비용과 장비별 교체 주기

AI 칩 외에 어떤 장비와 시설이 필요할까요

AI 설비투자 100달러가 어디로 흘러가는지 그린 생키 다이어그램¹ 한 장이 이번 주 투자 커뮤니티를 돌았어요. 왼쪽에 AI CAPEX $100이라는 굵은 막대가 있고, 오른쪽으로 갈수록 가지가 갈라지면서 마지막엔 기업 로고 60여 개가 매달려 있어요. 그림의 첫 가지가 눈에 띄죠. 칩에 50달러, 그중 AI 칩에 25달러. 엔비디아, 브로드컴, AMD 로고가 나란히 붙어 있고요.

저는 이 그림을 받고 엉뚱한 실험을 해봤어요. 맨 위 가지, 그러니까 AI 칩 25달러를 손으로 가려봤어요. 그러면 75달러가 남아요. 메모리 15달러, 서버용 CPU 10달러, 네트워킹 15달러, 전력 20달러, 냉각 7.5달러, 건물과 부지 7.5달러. 이 75달러에 매달린 회사들의 이름을 뉴스에서 본 기억이 얼마나 되는지 세어봤는데요. 절반은 처음 보는 이름이었어요. 버티브, 코히런트, 루멘텀, 엔벤트, 모딘. 그런데 이 회사들이 없으면 25달러짜리 칩은 켜지지도 않아요.

이번 호에서는 이 도표의 부문별 비용을 살펴보고, 각 장비를 얼마나 오래 쓰는지도 함께 보려고 해요. 서버와 네트워크 장비는 비교적 자주 교체하지만, 건물과 전력 설비는 더 오래 쓰기 때문이에요. 같은 AI 설비투자에 속해 있어도 장비를 공급하는 회사들의 주문 주기와 위험은 다를 수 있어요. 다만 회계상 비용을 나눠 잡는 기간과 실제 교체 시점은 구분해야 해요.

---

도표는 설비투자를 다섯 부문으로 나눠요

먼저 그림의 출처를 바로잡아요. SNS에 돌아다니는 버전에는 증권 앱 moomoo의 워터마크가 찍혀 있지만, 원래 추정치는 BNP 파리바 주식 리서치의 모델이에요. 그리고 이 그림이 무엇을 말하고 무엇을 말하지 않는지를 분명히 해둘게요. 그림이 말하는 건 부문별 배분이에요. 칩 50, 전력 20, 네트워킹 15, 냉각 7.5, 시설 7.5. 그림이 말하지 않는 건 기업별 금액이에요. 각 칸에 붙은 로고는 그 칸의 대표 사례를 나열한 것이지, 그 회사에 얼마가 간다는 뜻이 아니에요. 버티브 로고가 4칸에 나온다고 해서 버티브가 100달러 중 얼마를 가져가는지는 이 자료로 알 수 없어요. 이 선을 지키지 않으면 “삼성전자가 AI 설비투자의 7.5%를 가져간다” 같은 문장이 나오는데, 그건 오독이에요.

표로 전체 배분을 먼저 보고, 각 부문에 어떤 장비와 회사가 포함되는지 살펴볼게요.

큰 갈래	금액	세부 가지	대표 기업(그림 기준)
칩	50달러	AI 칩 25 · 메모리 15 · 서버용 CPU 등 10	엔비디아, 브로드컴, AMD / 삼성전자, SK하이닉스, 마이크론 / 인텔, 델, HPE
네트워킹	15달러	네트워크 프로세서 3 · 케이블 2 · 스위치 4.5 · 광트랜시버 5.5	마벨, 암페놀, 코닝, 시스코, 아리스타, 루멘텀, 코히런트
전력	20달러	배전 장비 6.5 · 계통 연결과 예비전원 10 · 현장 전기공사 3.5	이튼, 버티브, 미쓰비시전기, 넥스트에라, 서던, 컨스털레이션, 콴타서비스
냉각	7.5달러	콜드플레이트 1.5 · 냉각수 분배장치 2 · 칠러와 냉각수 2.5 · 기타 1.5	버티브, 후지쿠라, 엔벤트, 모딘, 트레인, 존슨컨트롤스, 캐리어
시설	7.5달러	부지 1 · 건물 구조 4 · 내부 설비 2.5	에퀴닉스, NTT, 디지털리얼티, 컴포트시스템즈, EMCOR, CBRE, JLL

칩 50달러: 세 종류의 반도체와 그 뒤에 숨은 8달러

칩 50달러는 셋으로 갈려요. AI 칩 25달러가 가속기예요. 학습과 추론을 실제로 수행하는 GPU와 맞춤형 칩(ASIC)이고요. 이 25달러 안에서도 구조가 바뀌고 있는데요. 엔비디아 GPU 옆에 브로드컴이 나란히 그려진 이유는 브로드컴이 구글 TPU 같은 맞춤형 칩을 설계·공급하기 때문이에요. 아마존의 트레이니엄, 메타의 MTIA도 같은 흐름이고요. 하이퍼스케일러 입장에서 25달러 중 엔비디아에 가는 몫을 줄이는 가장 확실한 방법이 자기 칩을 만드는 거라서, 이 가지 안에서 조용한 이동이 계속돼요.

메모리 15달러는 HBM²과 서버 DRAM이에요. 가속기 옆에 붙어 데이터를 밀어 넣는 부품이고, 한국 기업 2곳이 여기 있어요. 그림에서 메모리가 AI 칩과 별도 가지로 그려진 게 중요해요. HBM은 실제로는 GPU 패키지 안에 함께 들어가서 엔비디아가 사서 조립해 팔거든요. 그러니 하이퍼스케일러의 청구서에는 HBM 값이 GPU 값에 묻혀 있어요. BNP는 그걸 다시 꺼내서 별도 가지로 그린 거예요. 돈이 실제로 흘러가는 종착지를 따라간 거죠.

서버용 CPU와 기타 칩 10달러는 GPU 서버를 굴리는 데 필요한 일반 프로세서와 서버 완제품 몫이에요. 217호에서 에이전트가 GPU로 생각하고 CPU로 일한다고 썼는데, 그 CPU가 여기 있어요. 인텔과 AMD의 서버 CPU, 그리고 델과 HPE 같은 서버 조립사가 이 항목에 포함돼요.

그림에는 칩 갈래에서 옆으로 빠져나가는 8달러짜리 가지가 하나 더 있어요. 웨이퍼 팹 장비예요. 증착 2, 노광 2, 식각 1, 검사·계측 1, 패키징 2. 이건 하이퍼스케일러가 직접 쓰는 돈이 아니라, 칩 회사가 받은 돈 중 공장 장비로 다시 흘러가는 2차 지출을 표현한 거예요. 그래서 100달러와 별도로 그려져 있고요. ASML, 램리서치, 어플라이드머티리얼즈, 도쿄일렉트론이 이 장비를 공급해요. 여기서도 사용 기간의 차이를 볼 수 있어요. GPU를 5년 정도 사용한다고 가정해도, 반도체 공장에서는 노광 장비를 20년 이상 사용할 수 있어요. 54호에서 ASML 장비를 도면을 줘도 못 만든다고 썼는데, 그 장비는 칩 가지에서 갈라져 나온 8달러 안에 있고, 설비투자에 연결된 장비 가운데 사용 기간이 긴 편이에요.

반도체 공부 많이 된다. 오늘 자기 전에 생각 많이 날거야. · 제54호 · INLEVEL91,650억 달러를 투자해도 미국은 대만을 대체할 수 있을까요? 웨이퍼부터 조립까지 짚어봤어요.inlevel9.com

네트워킹 15달러: 구리에서 빛으로 넘어가는 지점

네트워킹 15달러는 GPU 수만 개를 하나의 컴퓨터처럼 묶는 비용이에요. AI 학습은 GPU 한 장이 하는 일이 아니에요. 수천, 수만 장이 계산 결과를 끊임없이 주고받아야 하고, 그 주고받는 속도가 느리면 아무리 비싼 GPU도 놀아요. 그래서 네트워킹은 GPU의 부속이 아니라 GPU의 성능을 결정하는 변수죠. 흔히 국내에선 광통신이라고 하는 분야에요.

가장 큰 가지가 광트랜시버³ 5.5달러인데요. 서버 랙 사이를 오가는 데이터를 빛으로 바꿔 보내는 부품이에요. 한 랙 안에서는 아직 구리선을 써요. 엔비디아 GB200 NVL72가 GPU 72장을 한 랙에 넣은 이유 중 하나가 구리로 연결할 수 있는 거리 안에 최대한 많은 GPU를 몰아넣기 위해서예요. 그런데 랙을 벗어나면 구리로는 거리와 속도가 안 나와요. 그 순간부터 전기 신호를 빛으로 바꿔야 하고, 그 변환기가 트랜시버예요. GPU 세대가 바뀌어 처리 속도가 오르면 트랜시버도 다음 규격으로 바뀌어요. 그래서 이 가지는 GPU 한 장이 팔릴 때마다 함께 자라고, GPU가 교체될 때 함께 교체돼요. 루멘텀과 코히런트가 이 부품을 공급하고, 엔비디아가 2025년에 광부품을 칩 옆에 직접 붙이는 방식(CPO)을 발표한 것도 이 5.5달러를 자기 쪽으로 끌어오려는 움직임이에요.

스위치 4.5달러는 그 빛과 전기를 교통정리하는 장비예요. 시스코와 아리스타가 전통 강자인데, 그림에 엔비디아가 스위치 칸에도 그려진 게 눈에 띄죠. 엔비디아는 이제 GPU만 파는 회사가 아니라 GPU와 스위치와 케이블을 한 세트로 파는 회사예요. 네트워크 프로세서 3달러는 그 스위치 안에 들어가는 칩이고 마벨과 브로드컴이 나눠 갖고요. 케이블과 커넥터 2달러는 암페놀과 코닝 같은 회사 몫이에요. 화려하지 않은 부품이지만 AI 데이터센터 한 곳에 광케이블이 수천 킬로미터씩 깔려요.

전력 20달러: 전기 요금이 아닌 전력 설비 비용

전력 20달러는 이 그림에서 두 번째로 큰 갈래예요. 냉각과 시설을 합친 15달러보다 크고, 네트워킹 15달러보다도 커요. 그런데 이 20달러는 전기 요금이 아니에요. 전기 요금은 운영비라서 설비투자 그림에 안 들어와요. 이 20달러는 전기를 받아서 칩까지 가져다 놓기 위한 물건값이에요.

절반인 10달러가 계통 연결과 예비전원이에요. 변전소, 송전선, 그리고 전력망이 못 주는 전기를 직접 만드는 가스터빈이나 연료전지 같은 자체 발전 설비고요. 이 가지가 왜 이렇게 커졌는지는 규모를 보면 이해가 돼요. 1GW 데이터센터 하나가 원자력 발전소 1기 출력이에요. 그런 시설을 미국 전력망에 붙이려면 계통 연결 심사에만 몇 년이 걸리고, 그래서 하이퍼스케일러가 발전소를 직접 사거나 짓기 시작했어요. 그림에 넥스트에라, 서던, 컨스털레이션 같은 전력 회사가 들어온 이유예요. 189호에서 구글이 한 번도 안 지어본 원자로를 고른 이야기를 했는데, 그 계약이 이 10달러 안에 있어요. 141호에서 변압기 한 대 주문에 5년이 걸린다고 썼는데, 그 변압기도 여기 있고요. 가스터빈은 GE, 지멘스, 미쓰비시파워 3사의 생산 물량이 2030년까지 차 있다는 보도가 나올 정도예요.

데이터센터가 멈춘 건 돈 때문도, 칩 때문도 아니에요 · 제141호 · INLEVEL9돈도 칩도 아닌 전력이 AI 데이터센터를 멈춰 세우고 있어요.inlevel9.com

배전 장비 6.5달러는 건물 안으로 들어온 고압 전기를 랙에 꽂을 수 있는 전압으로 낮추고 나누는 장비예요. 이튼과 버티브, 미쓰비시전기가 이런 장비를 공급해요. 버티브는 원래 무정전 전원장치(UPS) 회사인데, 이 그림에서 4칸에 등장해요. 배전과 냉각을 함께 파는 몇 안 되는 회사라서요. 현장 전기공사 3.5달러는 그 장비를 실제로 깔고 잇는 인건비와 공사비예요. 콴타서비스, 컴포트시스템즈, EMCOR 같은 이름이 낯설 텐데, 미국에서 AI 데이터센터가 늘어날수록 가장 부족해지는 게 전기 기술자거든요.

냉각 7.5달러: 공기가 물로 바뀌는 지점

냉각 7.5달러는 금액은 작지만 구조가 바뀌는 중이에요. 예전 데이터센터는 서버 랙 하나에 10~15kW를 썼고 공기로 식혔어요. 지금 AI 랙은 60~120kW예요. GB200 NVL72 한 랙이 120kW 안팎이고, 이 열은 공기로는 못 빼요. 그래서 칩 위에 금속판을 대고 물을 흘려요.

네 가지 중 앞의 두 가지, 콜드플레이트 1.5달러와 냉각수 분배장치(CDU)⁴ 2달러가 그 물길이에요. 콜드플레이트는 칩에 직접 닿는 금속판이고, CDU는 여러 랙의 콜드플레이트로 냉각수를 보내고 뜨거워진 물을 회수하는 펌프 장치예요. 이 부품은 랙과 함께 설치되고 랙과 함께 교체돼요. GPU 세대가 바뀌어 발열 위치와 크기가 달라지면 콜드플레이트도 다시 만들어야 하거든요. 후지쿠라, 엔벤트, 모딘 같은 회사가 여기 있어요.

뒤의 두 가지, 칠러와 냉각탑 2.5달러와 기타 1.5달러는 건물 설비예요. CDU가 회수한 뜨거운 물을 건물 밖으로 내보내 식히는 장치고, 트레인과 존슨컨트롤스와 캐리어 같은 공조 회사 몫이에요. 이건 한 번 지으면 오래 써요. 같은 냉각 항목에도 랙과 함께 5년 안팎에 교체할 수 있는 부품과 건물에 설치해 20년가량 쓸 수 있는 설비가 섞여 있는 거예요. Epoch 모델이 인용한 건설비 지수에 따르면 액체 냉각 설계는 공랭 대비 건설비를 7~10% 올려요. 이 이야기는 잠시 뒤 수명 표에서 다시 꺼낼게요.

시설 7.5달러: 부지와 건물, 내부 설비

시설 7.5달러가 가장 작아요. 부지 1달러, 건물 4달러, 내부 설비 2.5달러. 데이터센터 하면 거대한 건물이 먼저 떠오르지만, 돈으로 보면 건물은 안에 들어가는 물건의 10분의 1도 안 돼요. 이게 예전 데이터센터와 가장 달라진 지점이에요. 서버 몇 대를 놓는 상면 임대 사업이었을 때는 건물이 원가의 중심이었는데, 지금은 건물이 값비싼 칩을 담는 상자 역할로 밀려났어요.

부지 1달러가 작아 보이지만 지역 편차가 커요. 버지니아 라우던이나 캘리포니아 산타클라라는 에이커당 250만~450만 달러이고 오하이오나 인디애나는 10만~30만 달러예요. 15배 차이고요. 그래서 하이퍼스케일러가 비싼 땅을 피해 중부로 가고, 그 과정에서 지난달 켄터키 모녀 호에서 다룬 것처럼 390억 원짜리 제안을 거절하는 땅 주인과 마주치는 장면이 생겨요. 건물 4달러는 서버 무게를 견디는 바닥과 벽, 내부 설비 2.5달러는 소방·보안·바닥 배선 같은 마감이에요. 이 항목에는 에퀴닉스와 디지털리얼티 같은 데이터센터 임대 회사, CBRE와 JLL 같은 부동산 회사가 표시돼 있어요.

건물과 내부 설비는 서버보다 오래 사용할 수 있어요. 다만 15년에서 30년이라는 기간을 부지까지 똑같이 적용할 수는 없어요. 토지는 건물이나 서버처럼 감가상각하지 않기 때문이에요.

이 100달러를 실제 금액으로 바꾸면 규모가 잡혀요. 아마존, 마이크로소프트, 알파벳, 메타 4개사의 2026년 설비투자 가이던스를 합치면 약 7,250억 달러예요. 2025년 약 4,100억 달러에서 77% 늘었고, 알파벳은 2분기 실적 발표에서 상한을 2,050억 달러로 올렸어요. 모든 설비투자가 AI는 아니지만 대부분이 AI 데이터센터로 가요. 이 7,250억 달러에 그림의 비율을 그대로 얹으면, AI 칩 칸에 약 1,800억 달러, 메모리 칸에 약 1,090억 달러, 전력 칸에 약 1,450억 달러가 돼요. 이건 BNP 비율을 4개사 합산에 단순 곱한 파생 수치라서 규모 감각용이지 정확한 배분은 아니에요.