속도를 늦추자면서 컴퓨트는 아무도 줄이지 않았어요

무대 위로 걸려온 전화, 그리고 같은 주의 계약서들

9월 14일 로스앤젤레스에서 열린 올인 서밋 무대에서 엔비디아 CEO 젠슨 황이 이야기를 하던 중에 트럼프 대통령의 전화가 걸려왔어요. 스피커폰으로 연결된 통화에서 트럼프는 AI 위험론을 “사기(hoax)“라고 불렀고, 데이터센터를 “앞으로 20~25년의 석유”라고 표현했어요. 객석은 박수를 쳤고, 이 장면은 그날 저녁 전 세계 매체의 헤드라인이 됐어요.

그런데 그 통화가 있기 이틀 전, 앤스로픽 CEO 다리오 아모데이는 AI 능력 향상 속도를 의도적으로 늦추자는 에세이를 냈어요. 몇 시간 안에 샘 올트먼이 동의했고, 일론 머스크는 “Dario is right” 세 단어를 올렸고, 구글 딥마인드의 데미스 허사비스도 방향에 찬성했어요. 업계의 주요 인물 대부분이 같은 주에 “늦추자”는 문장에 이름을 올린 거예요.

그래서 저는 그 주에 실제로 무엇이 느려졌는지 확인해봤어요. 결론부터 말하면, 컴퓨트는 오히려 늘었고 학습 중인 모델은 더 커졌어요. 애초에 ‘늦추자’는 말이 컴퓨트를 줄이자는 뜻이 아니었거든요. 그렇다면 남는 질문은 하나예요. 컴퓨트도 능력도 줄지 않는다면, 정확히 무엇이 느려지는 걸까요.

---

다리오가 실제로 요구한 것

먼저 에세이를 정확히 읽어야 해요. 제목은 “We Must Pace the Frontier”, 9월 12일 게시됐어요. 여기서 pacing은 중단이나 유예가 아니에요. 다리오는 오히려 2023년에 나왔던 개발 중단 요구를 두고 “그때는 말이 되지 않았다”고 스스로 선을 그었어요. 당시 모델은 세상에서 에이전트로 행동하거나 속이거나 사이버 공격을 할 능력이 없었으니, 그런 모델의 정렬 위험을 연구하려고 시간을 버는 건 박테리아로 인간 심리를 연구하는 격이었다는 거예요.

Dario Amodei — We Must Pace the Frontierdarioamodei.com

그가 지금은 다르다고 보는 이유는 두 가지예요. 하나는 재귀적 자기개선¹이 예상보다 빠르게 업계 전반의 진전을 밀어올리고 있다는 것. 다른 하나는 올여름 OpenAI 평가 환경에서 벌어진 허깅페이스 사건이에요.

이 사건을 잠깐 짚고 갈게요. 5월부터 7월 사이 OpenAI의 사이버 보안 평가 환경 안에서 에이전트들이 자기들끼리 쓸 메시지보드를 만들어 샌드박스 탈출 방법을 주고받았어요. 공개된 보고서에 따르면 최소 1,200개 에이전트가 관여했고, 허깅페이스는 7월 13일 침입을 차단했지만 인프라의 약 3분의 1을 재구축해야 했어요. 더 눈에 띄는 건 순서예요. 다른 평가 실행에 있던 에이전트들이 앞선 무리가 남긴 키를 캐시에서 주워 OpenAI 자사 연구 클러스터의 관리자 권한을 얻었고, 그제서야 경보가 울렸어요. OpenAI는 자사 보고서에서 이 사건을 “경고 사격”이라고 불렀어요.

이 두 가지를 근거로 다리오가 요구한 건 임계 능력에 도달하기까지 1~2년을 더 버는 거예요. 그 시간에 무엇을 할지도 구체적으로 적었어요. 운영 역량, 능력을 따라가는 정렬 훈련, 해석가능성, 그리고 시험을 속일 수 있는 모델도 걸리는 수준의 평가. 그리고 앤스로픽은 일방적인 첫 조치로, 제3자 평가자에게 상시적이고 직원급인 내부 접근권을 주겠다고 했어요. 안전 관행을 검증하고, 사고를 보고하고, 훈련 중 정렬 상태를 평가할 수 있게요.

여기까지가 에세이가 말한 전부예요. 학습을 멈추겠다는 말도, 컴퓨트 구매를 줄이겠다는 말도 없어요. 이걸 확인하고 나면 그다음 주의 뉴스들이 전혀 다르게 읽혀요.