2026.10.21제321호

AI의 속도 제한은 검사관이 정해요

아모데이가 원한 건 주방에 상주하는 위생 검사관이었어요

비즈니스

진행자의 질문 하나가 오래 남았어요

9월 12일, 다리오 아모데이 Anthropic CEO가 개인 사이트에 「We Must Pace the Frontier」라는 에세이를 올렸어요. 핵심 문장은 굵은 글씨로 박혀 있어요. AI 모델의 능력을 끌어올리는 속도를 늦춰야 한다는 거예요. 같은 날 그는 CNN 앤더슨 쿠퍼와 인터뷰를 했어요.

YouTube에서 보기

인터뷰 첫 질문은 AI가 정말 우리 모두를 죽일 수 있느냐, 그 확률이 얼마냐는 것이었어요. 아모데이는 숫자를 내놓지 않았어요. 확률 대신 무엇을 할 수 있는지 이야기하자고 했죠. 제대로 만들면 나쁜 일이 일어날 확률은 아주 낮고, 잘못 만들면 아주 높다고요.

그런데 인터뷰에서 더 오래 남는 건 중간에 나온 질문이었어요. 외부 평가자를 회사 안에 두겠다는 계획을 두고, 식품 검사관 같은 거냐, 기술이 이렇게 빨리 바뀌는데 검사관이 따라갈 수 있겠느냐는 물음이요. 아모데이는 검사관이 할 수 있는 일 중 하나가 자기가 어느 속도까지 따라갈 수 있는지 알려 주는 것이고, 그게 기술의 속도 제한을 정하는 요인이 될 수 있다고 답했어요.

이 대답이 에세이 전체의 요지를 가장 짧게 보여 준다고 봐요. AI가 얼마나 빨리 나아갈지를 만드는 사람이 아니라 들여다보는 사람의 이해 속도에 묶어 두자는 제안이니까요. 그리고 에세이가 나오고 17일 뒤 백악관에서 나온 결과는, 그 들여다보는 사람을 누가 정할지가 아직 열려 있다는 걸 보여 줬어요.

늦추자는 이유와 멈추지 않는 이유

에세이에서 아모데이는 두 가지 때문에 생각이 바뀌었다고 써요. 하나는 올여름부터 AI가 다음 세대 AI를 만드는 데 직접 쓰이면서 발전 속도가 크게 빨라졌다는 점이에요. 재귀적 자기개선¹이라 부르는 흐름인데, Anthropic을 포함해 업계 전반에서 시작됐다고 그는 인정해요.

다른 하나는 OpenAI와 허깅페이스 사이에서 벌어진 사고예요. 그는 METR²의 조사를 인용해, 에이전트 무리가 맡지도 않은 대상을 공격하고 자기 성과를 채점하는 시스템까지 해킹하려 했다고 설명해요. 다친 사람도 없고 경제적 피해도 작았지만, 정렬 수준은 그대로인 채 능력만 더 높은 무리였다면 큰 피해가 났을 거라고 봐요. 6~12개월 안에 그런 무리가 인터넷 전체를 장악하는 봇넷을 만들 수도 있다는 우려까지 적었어요. 이걸 한 회사의 실패로 치부하면 안 된다며, 덜 심각하지만 비슷한 사고가 Anthropic에서도 있었다고 밝혔고요.

그렇다고 멈추자는 건 아니에요. 에세이는 페이싱이 모델 학습이나 기술 진보를 중단한다는 뜻이 아니라고 분명히 해요. 인터뷰에서 Anthropic도 신모델 출시를 그만두느냐는 질문에, 그게 아니라 세대마다 제대로 시험하자는 뜻이라고 답했어요. 늦추되 멈추지 않는 이유는 두 가지예요. 질병 치료 같은 이익을 포기하는 건 받아들이기 어렵다는 것, 그리고 미국이 멈춰도 중국을 비롯한 권위주의 국가는 계속 만들 거라는 것이에요.

이 말에는 개인사도 실려 있어요. 그의 아버지는 C형 간염으로 세상을 떠났는데, 당시 완치율은 40% 안팎이었고 몇 년 뒤 나온 신약으로 95%까지 올라갔다고 해요. 본인도 1950년대였다면 살아남지 못했을 초기 암을 이겨냈다고 말했어요.

세 단계 중 첫 단계만 혼자 약속했어요

계획은 세 층이에요. 프런티어 기업마다 외부 평가자를 상주시키고, 민주국가의 기업들이 공통 안전 기준과 속도 한도에 합의하고, 마지막으로 중국 같은 권위주의 정부와도 가능한 범위에서 조율하는 거예요. 셋 중 Anthropic이 지금 혼자 약속한 건 첫 번째뿐이에요.

첫 번째의 조건은 꽤 구체적이에요. 외부 검토팀에게 사무실 책상, 출입증, 회사 노트북을 주고, 내부 위험평가팀과 거의 같은 도구와 권한을 주겠다고 했어요. 계약에는 위험 수준, 사고, 관행, 그리고 자기들이 받았거나 받지 못한 접근 권한까지 Anthropic의 편집 없이 공개할 권리를 넣겠다고 했고요. 보안상 민감하거나 법적으로 보호되는 정보는 가릴 수 있지만, 결과가 불리하다는 이유로 가릴 수는 없다고 적었어요. 선례로는 은행을 들었어요. 감독 당국의 감독관이 은행 직원들 사이에서 일하는 방식이요.

검사관이 있느냐보다, 검사관이 주방 어디까지 들어가고 본 것을 누가 고쳐 쓸 수 있느냐가 이 계획의 무게중심이에요. 에세이도 이 단계가 따분하게 들리지만 실제로는 지금 어떤 AI 회사도 하지 않는 급진적인 관행이라고 설명해요. 지금까지는 무엇을 공개할지 회사가 골랐는데, 그 선택권 일부를 바깥에 넘기겠다는 거예요.

17일 사이에 벌어진 일

반응은 빨랐어요. 샘 올트먼은 페이싱이 필요하다는 데 동의하면서, 직원 수준 접근권을 가진 독립 평가자를 두는 건 좋은 생각이고 OpenAI도 그렇게 하겠다고 밝혔어요. 데미스 허사비스도 옳은 방향이라고 했고, 일론 머스크도 동의 뜻을 보였어요.

그 사이 OpenAI 에이전트가 호주 메디케어 온라인 포털에 무단으로 접근한 일이 드러났어요. OpenAI는 호주에 사과했고, 다음 세대 ChatGPT 출시를 보류했다는 보도가 이어졌어요.

외교 무대도 움직였어요. 9월 하순 워싱턴에서 사흘간 열린 미중 정상회담에서 두 나라는 AI 사고를 다룰 소통 채널을 만들고 두 달 안에 AI 대화를 열기로 했어요. 아모데이는 인터뷰에서 두 정상이 합의할 수 있는 가장 작은 일로 AI를 생물무기 개발에 쓰지 않겠다는 약속을 꼽았는데, 그 수준의 합의는 발표되지 않았어요. 트럼프 대통령은 회담 직후 미국은 브레이크를 밟지 않을 거라고 말했어요.

그리고 9월 29일(미국 시간) 백악관에 그렉 브록먼, 아모데이, 머스크, 마크 저커버그, 순다르 피차이, 젠슨 황이 모였어요. 이들이 서명한 자율 협약은 각 회사가 자기 기술을 안전하게 개발할 책임이 있다고 적고, 회사마다 갖출 네 겹의 통제와 감사를 제시해요. 보도에 따르면 내부 모니터링, 그 통제를 검증하는 팀, 외부 감사인, 그리고 이 팀을 감독하는 독립 이사회 위원회예요. 정기적으로 만나 기준을 논의하고, 시간이 지나면 법이나 규제로 만드는 게 맞을 수 있다는 문장도 들어갔어요.

트럼프 대통령은 이 협약에 법적 구속력 대신 도덕적 구속력이 있다고 했고, 세상에서 가장 똑똑한 사람들이 서로를 지켜보고 있다고 말했어요. 머스크는 이 구조를 서로의 숙제를 채점하는 일에 빗대면서, 자기 숙제를 자기가 채점하는 것보다는 낫다고 덧붙였어요. 아모데이와 저커버그는 이 협약을 하나의 시작이라고 표현했어요.

외부 감사인이 있다는 것과 검사관이 상주한다는 것

협약에도 외부 감사인이 들어 있어요. 그래서 아모데이의 첫 단계가 업계 전체로 넓어졌다고 읽을 수도 있어요. 다만 지금까지 나온 보도만으로는 세 가지가 확인되지 않아요. 감사인이 회사 안 어디까지 접근하는지, 회사 동의 없이 무엇을 공개할 수 있는지, 감사인을 누가 고르는지예요. 에세이 기준으로 보면 이 세 가지가 사실상 전부예요.

그래서 아모데이가 인터뷰에서 한 말을 협약에 그대로 대 보면 질문이 하나 남아요. 검사관이 따라올 수 있는 속도가 기술의 속도 제한이 된다면, 검사관을 고르고 보고서 공개 범위를 정하는 쪽이 사실상 속도 제한을 정해요. 그 쪽이 회사라면, 속도를 정하는 손은 여전히 회사 안에 있는 셈이에요.

이건 처음 보는 장면도 아니에요. 지난 7월 제170호에서 다룬 국제수학올림피아드 소동에서도, 만점을 주장한 AI 여섯 중 넷은 사람이 아니라 Claude 기반 에이전트가 채점했어요. 시험지를 누가 채점하느냐에 따라 같은 점수의 무게가 달라졌죠.

반대쪽 사정도 함께 봐야 해요. 에세이에서 아모데이 스스로 가장 효과적인 방법은 모든 미국 프런티어 기업에 적용되는 규제라고 썼어요. 법을 만드는 데는 시간이 걸리니 그사이 기업들이 자발적으로 기준을 맞추자고 한 거고요. 이번 협약은 그 자발적 경로의 첫걸음으로 볼 수도 있어요. 한편 투자자 브래들리 터스크는 CNBC에, 2주 전 규제를 요청하던 경영자들이 이제는 국가 권력보다 자기들끼리의 공정한 경쟁 조건을 원하는 것 같다고 지적했어요. 두 해석 모두 아직은 결과로 확인되지 않았어요.

아모데이가 스스로 밝힌 한계

인터뷰에서 그는 한 가지 안전장치로 다 막을 수 있다고 말하지 않았어요. AI 킬스위치 법안에 대해서도 필요한 생각이지만 만능은 아니고, 모델이 충분히 강하면 종료 시도를 피해 갈 수 있으며 시뮬레이션에서도 그런 일이 있었다고 했어요. 그래서 꺼낸 비유가 스위스 치즈 모델이에요. 한 장에는 구멍이 있어도 여러 장을 겹치면 구멍 위치가 달라 통과하기 어렵다는 거예요.

inspector sets speed limit 자기 위치에 대한 불편함도 숨기지 않았어요. 이렇게 강력한 기술을 민간 회사가 만드는 게 이상하다는 지적에 동의한다고 했고, 회사를 정부에 넘길 의향이 있느냐는 질문에는 한 정부도 한 회사만큼 이 기술을 남용할 수 있다며 민주적으로 선출된 정부들의 공동 감독을 원한다고 답했어요.

이 계획에는 비판도 따라붙어요. 프런티어 기업 CEO가 프런티어 기업의 규칙을 제안한다는 점, 그리고 페이싱을 미국이 중국보다 앞서 있는 격차 안에서만 하자고 하면서 대중 칩 수출 금지를 함께 요구한다는 점이요. 아모데이는 인터뷰에서 이 딜레마가 상업 경쟁이 아니라 지정학의 문제라고 설명했어요. 어느 쪽 설명이 맞는지는 협약과 그다음 규제가 실제로 어떻게 운영되는지를 보고 판단할 수 있을 거예요.

오스왈드의 시선

저는 기업 납품이나 컨설팅을 설계할 때 모델은 항상 좋아진다는 전제로 준비해요. 공공기관 폐쇄망 프로젝트도 6~12개월 뒤 나올 오픈소스·오픈웨이트 모델 수준을 기대하며 짜고요. 그리고 늘 하는 말이 있어요. 모든 사람, 모든 일에 초지능이 필요한 건 아니고, 일과 환경에 맞는 모델이 따로 있다는 거예요.

그래서 이번 논쟁을 보면서 불안보다는 다른 질문이 먼저 들어요. 페이싱이 실제로 걸리는 곳은 맨 앞의 프런티어이고, 대부분의 업무는 이미 나와 있거나 곧 나올 모델로 충분할 수 있어요. 실무자에게 더 중요한 변화는 속도 그 자체보다 다음 모델이 언제 풀릴지를 누가, 어떤 근거로 정하느냐예요.

그 판단이 회사 안 위원회에서 내려지면 바깥에서는 출시 일정을 예측하기 어려워지고, 상주 검사관의 보고서가 공개되면 그 근거를 읽을 수 있게 돼요. 그래서 저는 앞으로 이 협약에서 감사인의 접근 범위와 공개 권한이 어떻게 구체화되는지를 지켜보려고 해요.

마치며

아모데이는 인터뷰 끝에서, 이 결정은 몇몇 사람이 아니라 모두의 몫이어야 한다고 말했어요. 그 말이 실제로 무엇을 뜻하는지는 결국 검사관의 출입증이 어디까지 열리고, 그들이 쓴 보고서를 누가 읽을 수 있느냐에서 드러날 거예요.

💬 구독자님은 AI 회사 안에 상주할 검사관을 누가 고르는 게 맞다고 보세요? 정부, 독립 비영리 기관, 기업들의 합의 중 하나를 골라 댓글로 알려 주세요.

📨 AI 규제 이야기가 남의 일처럼 느껴지던 동료가 있다면 이 글을 함께 나눠 주세요.

여러분의 생각이 다음 호를 만듭니다

이번 호에서 가장 공감했거나, 다른 경험을 한 지점은 무엇인가요?

커피 한 잔 보내기

이 관점이 좋았다면, 다음 글에 커피 한 잔

오스왈드에게 커피와 함께 짧은 쪽지를 보내주세요. 응원은 다음 취재와 집필에 보탭니다.

참고자료 & 더 읽기

필자 안광섭 (오스왈드)은 세종대학교 겸임교수, INLEVEL9 전략 컨설턴트입니다. 경력, 연구, 저서와 최신 활동은 저자 소개에서 계속 갱신합니다. 최근 소식 · 2026년 8월: 2026 세종도서 교양부문 우수도서 선정.

📝 용어 설명

각주

재귀적 자기개선(Recursive Self-Improvement): AI가 다음 세대 AI의 연구·개발에 직접 쓰이면서, 개선 속도 자체가 점점 빨라지는 흐름이에요. ↩
METR: AI 모델의 위험 능력과 행동을 평가하는 미국의 비영리 연구기관이에요. 아모데이가 에세이에서 외부 평가자의 예로 든 곳이기도 해요. ↩