터보퀀트의 메모리 압축과 반도체 수요

터보퀀트 발표 뒤 하락한 메모리·저장장치 주식

2026년 3월 25일 미국 증시에서 메모리와 저장장치 관련 주식이 함께 하락했어요. Investing.com의 당일 장중 보도 기준으로 샌디스크는 5.7%, 웨스턴 디지털은 4.7%, 씨게이트는 4%, 마이크론은 3% 내렸어요. 나스닥 100이 오르는 가운데 나온 움직임이었죠. 이 기사는 구글의 압축 알고리즘 터보퀀트(TurboQuant) 발표를 하락 배경으로 짚었어요.

저도 원고를 쓰던 날 18시 무렵 국내 주식 화면을 확인했어요. 삼성전자, SK하이닉스, 한미반도체 등 반도체 관련 종목들이 하락해 있었어요. 다만 국내외 주가 움직임을 이 기술 하나의 영향으로 설명하기는 어려워요.

터보퀀트는 AI가 앞선 계산을 재사용하기 위해 저장하는 KV 캐시를 압축해요. 이 캐시는 GPU의 HBM¹에도 저장되므로, 압축이 HBM 사용량에 영향을 줄 수 있어요. 다만 요청 하나를 처리하는 데 필요한 메모리가 줄어드는 것과, 시장 전체의 메모리 구매량이 줄어드는 것은 별도로 살펴야 해요.

터보퀀트가 실제로 하는 일

AI가 다음 문장을 생성할 때에는 앞서 입력된 내용에 관한 계산 결과를 다시 사용해요. 이때 저장해 두는 키와 값 데이터를 KV 캐시²라고 불러요. 같은 모델과 저장 형식이라면, 모든 토큰을 보관하는 캐시는 대체로 토큰 수에 비례해 커져요. 긴 문서를 다루거나 여러 요청을 동시에 처리할수록 메모리 부담도 늘어나죠.

터보퀀트는 이 숫자들을 더 적은 비트로 저장하는 양자화³ 기술이에요. 원 논문에서는 먼저 무작위 회전이라는 수학적 변환을 적용해 각 숫자의 분포를 예측하기 쉽게 만들어요. 그다음 미리 계산한 기준에 따라 가까운 대표값으로 바꿔 저장하죠. 입력 데이터마다 압축 기준을 새로 학습하지 않아도 된다는 장점이 있어요.

숫자를 간략하게 저장하면 오차가 생겨요. 특히 AI가 데이터 사이의 관계를 계산하는 내적 연산에서 결과가 한쪽으로 치우칠 수 있죠. 논문은 이를 보완하기 위해 잔여 오차를 다루는 QJL 단계를 제시해요. 각 성분을 1비트 부호로 표현하는 방법을 이용해 내적 추정값의 편향을 없애도록 설계했어요. 개별 계산의 오차가 모두 사라진다는 뜻은 아니에요.

논문의 LongBench 실험에서 Llama-3.1-8B-Instruct의 평균 점수는 비압축과 3.5비트 설정 모두 50.06이었어요. 2.5비트에서는 49.44였고요. 3.5비트 설정에서 4.5배 이상의 압축을 보고했고, 긴 글에 숨겨진 정보를 찾는 실험에서도 비압축 모델과 같은 성능을 보였어요. 실험한 모델과 과제에서 얻은 결과예요.

압축 기준을 데이터마다 학습할 필요가 없다는 특성은 벡터 검색에도 유용해요. 논문은 검색용 인덱스를 준비하는 시간을 줄이는 결과를 제시했어요. 다만 검색 인덱스 준비 시간과 챗봇이 답변을 생성하는 시간은 서로 다른 측정값이에요.

구글 블로그는 KV 캐시를 최소 6배 줄인 실험과 최대 8배의 연산 속도 향상을 소개해요. 여기서 8배는 H100에서 어텐션 로짓을 계산하는 특정 단계의 결과예요. 전체 답변 생성이 8배 빨라졌다는 의미로 읽으면 안 돼요. 논문의 4.5배 이상과 블로그의 6배도 모델과 비트 수 등 실험 조건을 함께 확인해야 해요. 저는 기술 발표의 큰 숫자보다 무엇을 측정했는지를 먼저 보려고 해요.