모두가 AI 안전을 말하는데, 청구서는 남에게 보내요

일주일 사이, ‘안전’의 뜻이 네 번 바뀌었어요

구독자님, 지난 일주일 동안 AI 업계에서 가장 많이 들린 단어는 ‘안전’이었어요. 그런데 말하는 사람이 바뀔 때마다 그 단어가 가리키는 대상도 바뀌었어요.

9월 12일 토요일, 앤스로픽의 다리오 아모데이가 에세이를 냈어요. 프런티어 연구소들이 모델 능력을 끌어올리는 속도를 1~2년 정도 일부러 늦춰서, 안전과 정렬¹ 연구가 따라올 시간을 벌자는 내용이에요. 몇 시간 안에 샘 올트먼이 동의한다는 글을 올렸고, 일론 머스크도 “다리오가 옳다”고 거들었어요. 올트먼을 상대로 소송 중인 머스크가 같은 날 같은 편에 선 거예요.

사흘 뒤인 15일, 세일즈포스의 연례 행사 드림포스 무대에서 젠슨 황은 이 제안을 “잘못된 양자택일”이라고 불렀어요. 안전과 속도는 동시에 가질 수 있고, 새 법도 새 규제도 필요 없다고요. 업계에 건넨 조언은 짧았어요. “최대한 빨리 달리세요.” 같은 날 마크 저커버그는 SNS에 반대 논리를 올렸어요. 자기 말을 듣지 않는 에이전트를 쓰고 싶어 할 사람은 없으니, 연구소들에겐 이미 모델을 안전하게 만들 강한 동기가 있다는 거예요.

그리고 17일 목요일, 팔란티어의 알렉스 카프가 CNBC 생방송에 나왔어요. 그는 이 논쟁이 안전의 문제가 아니라 책임의 문제라고 했고, 한 걸음 더 나가 ‘국유화’라는 단어를 꺼냈어요.

넷 다 안전을 말했어요. 그리고 넷의 주장은 각자 서 있는 사업 위치와 거의 정확하게 겹쳐요. 이번 호에서는 누가 옳은지를 가리기보다, 각자의 주장에 붙은 청구서가 누구 앞으로 가는지를 따라가 볼게요. 속도를 늦추면 그 비용은 누가 내는지, 빨리 가다 사고가 나면 누가 물어내는지요.

아모데이의 제안은 정부 없이 시작할 수 없어요

아모데이의 에세이는 세 가지를 제안했어요. 첫째, 외부의 독립 평가자가 연구소 안에 들어와 직원에 가까운 접근 권한으로 모델을 들여다보게 하자. 둘째, 연구소들이 안전 기준을 함께 맞추자. 셋째, 가장 위험한 능력에 대해서는 결국 정부가 뒷받침하는 국제적 한도를 두자.

여기서 눈여겨볼 대목은 두 번째예요. 경쟁사끼리 “모델을 얼마나 빨리 만들지”를 합의하는 건 법적으로 보면 담합에 가까워요. 그래서 아모데이는 연구소들이 안전 논의를 해도 담합으로 처벌받지 않도록 워싱턴에 좁은 범위의 반독점 면제²를 요청했어요. 에세이 안에서도 속도 조절에 효과적인 조율 가운데 일부는 법적으로 까다롭고 정부의 지원이 필요하다고 적었고요.

한 연구소만 늦추면 그 자리를 다른 연구소가 차지해요. 그러니 이 제안은 구조적으로 혼자 할 수가 없어요. 늦추는 비용은 선두 연구소들이 스스로 치르겠다는 것이지만, 그 약속을 묶어줄 끈은 정부가 쥐고 있어요. 문제는 그 정부의 반응이에요. 트럼프 대통령은 주말 사이에 AI에 필요한 가드레일은 강하고 똑똑한 대통령뿐이라는 글을 올렸어요. 적어도 지금 워싱턴은 이 끈을 쥐어줄 생각이 없어 보여요.

공정하게 덧붙이면, 아모데이는 드림포스에서 자동차 회사의 비유를 들었어요. 경쟁사에 안전 사고가 나면 상대를 공격하기보다 자기 공장을 먼저 점검해야 한다고요. 경쟁자를 두고 “저 사람들은 위험하다”고 말하고 싶은 유혹이 크다는 말도 했어요. 자신의 제안이 경쟁사 견제로 읽힐 수 있다는 걸 본인도 알고 있었던 셈이에요.

황과 저커버그는 늦추는 비용을 받지 않겠다고 해요

젠슨 황이 이 제안을 통째로 거절한 건 아니에요. 외부 제3자가 프런티어 연구소의 안전성을 평가하는 부분에는 동의했어요. 거절한 건 속도 조절이에요. 미국이 늦추면 미국 AI를 따라잡으려는 나라들에 우위를 넘겨준다는 이유였어요.

이 설명은 그 자체로 말이 돼요. 동시에 엔비디아는 연구소들이 더 크고 더 많은 모델을 만들수록 칩을 더 파는 회사예요. 두 이유는 서로를 배제하지 않아요. 다만 황이 받아들인 부분(사후 평가)은 칩 수요를 줄이지 않고, 거절한 부분(속도 조절)은 칩 수요를 직접 줄인다는 점은 짚어둘 만해요.

저커버그의 논리는 시장이에요. 사용자는 자기 뜻대로 움직이지 않는 에이전트를 쓰지 않을 테고, 신뢰와 정렬에 집중하지 않는 연구소는 뒤처질 거라고 했어요. 연구소에는 막대한 책임을 피하려는 자연스러운 동기가 있다는 말도 덧붙였어요. 이 구도에서 청구서는 사후에, 시장과 사용자에게 가요. 고르는 건 사용자고, 잘못 만든 회사는 외면받거나 책임을 지면 된다는 거예요.

한 가지 더 볼 만한 건 순서예요. 속도를 맞추자는 쪽은 다음 세대 모델에 가장 가까이 있는 앤스로픽과 OpenAI예요. 지금 속도를 맞추면 지금의 순위가 그대로 굳어요. 추격하는 쪽 입장에서 이 합의가 반가울 리 없어요.

카프는 이 모든 걸 ‘청구서 이전’으로 읽었어요

카프의 인터뷰는 산만했어요. 인터뷰 도중에도 진행자가 무슨 뜻인지 다시 물을 정도였어요. 그래도 주장의 뼈대를 추리면 세 단계예요.

첫째, 고객이 화가 나 있다. 카프는 팔란티어의 미국 기업 고객들이 자기 사업 방식과 데이터, 그러니까 자기만의 경쟁력이 모델 안으로 들어가 옆집 경쟁사에게까지 흘러갔다고 여긴다고 했어요. 폐쇄형 모델의 토큰 값이 싼 것도 시장을 키우려는 게 아니라 고객의 지식재산을 얻어 모델을 개선하려는 것이고, 이에 대한 솔직한 공개가 없었다는 게 그의 주장이에요.

둘째, 그래서 연구소는 무한 책임을 진다. 고객들이 소송을 걸 수 있고, 연구소 스스로 경고하는 대로 세계적 피해가 날 수 있다면 그 위험을 떠안을 수 있는 기관은 정부밖에 없다. 카프는 이걸 두 번의 이동으로 설명했어요. 먼저 기업들의 가치가 연구소로 옮겨가고, 다음에는 책임을 덜기 위해 연구소의 가치가 정부로 옮겨간다는 거예요. 그 과정에서 가장 크게 잃는 건 “남이 봉”이라고 믿었던 투자자들이라고 했고요.

셋째, 책임이 먼저다. 화학 회사든 병원이든 모든 사업은 자기가 만든 물건이 해를 끼치면 민사, 때로는 형사 책임을 져요. 몰랐다고 해서 면제되지도 않고요. 카프의 표현을 빌리면 첫 번째 방어선은 “자기 행동에 대한 책임”이에요. 사회 차원의 규제를 먼저 요구하는 건 이 첫 번째 방어선을 건너뛰려는 것이라고 봤어요.

이 독해에는 약한 고리가 분명히 있어요. 토큰 할인이 지식재산 수집용이라는 말은 카프의 주장일 뿐 근거를 내놓지는 않았어요. 주요 연구소들은 기업용 API로 들어온 데이터를 기본적으로 학습에 쓰지 않는다고 약관에 밝혀 왔어요. 또 지금까지 보도된 아모데이의 에세이는 조율을 위한 정부 지원과 국제적 한도를 말했을 뿐, 국유화나 책임 한도를 요구하지는 않았어요. 카프 스스로도 아모데이가 그렇게 말하지는 않았고 “그렇게 말할 수 없을 뿐”이라고 했어요. 결국 국유화는 카프가 붙인 해석이에요.

그런데 셋째 단계는 가볍게 넘기기 어려워요. 아모데이가 든 자동차 비유를 그대로 이어가 보면, 자동차 산업에서 안전의 첫 번째 장치는 업계 협약이 아니라 리콜과 제조물 책임이에요. 누가 사고의 청구서를 받는지가 먼저 정해져 있고, 그 위에 기준과 규제가 올라가요. AI 논쟁에서는 이 순서가 비어 있어요.

카프 자신의 청구서는 어디로 가나요

카프의 진단을 한 번 더 뒤집어 볼 필요도 있어요. “폐쇄형 모델이 당신의 비밀을 가져간다”는 진단 다음에 그가 내놓은 처방은 이거예요. 비밀이 걸린 일은 오픈웨이트³ 모델로 옮기고, 그 위에 애플리케이션 레이어⁴를 올려 직접 사후학습⁵하라. 그리고 그 애플리케이션 레이어를 파는 회사가 팔란티어예요. 카프는 엔비디아와 함께 이 ‘주권’ 흐름을 시작했고, 수요가 너무 많아 동맹국 요청까지 다 받지 못할 정도라고 했어요.

그가 그린 미래도 같은 방향이에요. 기업은 여러 모델을 섞어 쓰게 되고, 진짜 비밀이 걸린 일은 오픈웨이트로, 아르헨티나 마케팅 문구 같은 일은 폐쇄형으로 간다는 거예요.

여기서 재미있는 건 황과 카프의 관계예요. 규제에 대한 말은 달라요. 황은 새 법이 필요 없다고 했고, 카프는 책임을 무겁게 물어야 한다고 했어요. 그런데 둘 다 고객이 자기 GPU 위에서 자기 모델을 돌리는 세계에서 돈을 벌어요. 말은 반대인데 청구서를 보내는 방향은 같아요. 폐쇄형 연구소 쪽이에요.

지금까지를 한 장으로 정리하면 이래요.

누가	무엇을 말했나	비용을 누가 내나	사업 위치
아모데이·올트먼	속도를 맞추자	선두 연구소의 시간, 조율을 허락할 정부	다음 세대 모델에 가장 가까운 폐쇄형 연구소
젠슨 황	최대한 빨리, 새 법은 필요 없다	사후 평가에 맡긴 위험	연구소가 커질수록 칩을 파는 회사
저커버그	시장이 알아서 거른다	선택하는 사용자, 사후 책임	선두를 추격하는 쪽
카프	책임이 먼저, 결국 국유화로 간다	연구소와 그 투자자	오픈웨이트 위 애플리케이션 레이어를 파는 회사

주장과 사업이 겹친다고 해서 그 주장이 거짓이라는 뜻은 아니에요. 아모데이는 자기 회사의 속도도 늦추자고 했고, 카프의 책임 논리는 팔란티어에도 똑같이 적용돼요. 다만 각자가 제안하는 규칙에서 자기가 내는 몫이 가장 작다는 건, 적어도 이 논쟁을 들을 때 기억해 둘 만해요.

오스왈드의 시선

저는 기업 납품이나 컨설팅을 설계할 때 “모델은 항상 좋아진다”를 전제로 준비해요. 공공기관의 폐쇄망 환경을 세팅할 때도 6~12개월 뒤에 나올 오픈웨이트 모델이 대략 어느 수준일지를 기대하고 프로젝트를 짜요. 지금 넣는 모델보다 반년 뒤에 교체할 모델을 더 중요하게 보는 셈이에요.

그래서 이번 논쟁을 읽으면서 제가 먼저 확인한 건 누가 옳으냐보다 이 전제가 흔들리느냐였어요. 제 판단은 이래요. 만약 앤스로픽과 OpenAI가 실제로 속도를 맞춘다면, 늦추는 건 합의에 들어간 폐쇄형 선두 연구소들이에요. 합의에 반대한 쪽, 그리고 애초에 합의 테이블에 없는 중국의 오픈웨이트 연구소들은 계속 달려요. 그러면 폐쇄형 최신 모델과 내려받을 수 있는 모델 사이의 격차는 좁혀지는 방향으로 움직일 가능성이 커요.

그 결과는 역설적이에요. 늦추자는 제안이 받아들여질수록 기업이 비밀을 오픈웨이트로 옮길 이유는 커지고, 그건 카프가 파는 방향이에요. 반대로 제안이 무산되면 선두 연구소는 계속 앞서가지만, 카프가 말한 책임 문제는 그대로 남아요. 어느 쪽이든 발주하는 기업이 들여다봐야 할 건 같아요. 어떤 모델이 더 안전하다는 홍보보다, 우리 데이터가 학습에 쓰이는지와 사고가 났을 때 계약서상 누가 책임지는지를 먼저 읽는 거예요. 이번 주 논쟁에서 그 조항을 두고 싸운 사람은 아무도 없었어요.

마치며

카프는 인터뷰에서 포커의 첫 번째 교훈을 꺼냈어요. 테이블에서 누가 봉인지 모르겠다면, 봉은 당신이라는 거예요. 투자자들에게 한 말이었지만, 이번 주의 논쟁을 지켜본 사람 모두에게 해당하는 말로 들렸어요.

각자 자기 몫이 가장 작은 규칙을 제안하는 건 이상한 일이 아니에요. 사업을 하는 사람이라면 누구나 그래요. 눈여겨볼 건 그 청구서를 결국 받게 될 사람들, 모델에 데이터를 넣는 기업과 그 기업에 돈을 댄 투자자와 사고의 영향을 받을 시민이 이번 논쟁의 무대 위에는 없었다는 점이에요.

---

💬 지금 회사에서 쓰는 AI 서비스의 약관에서 데이터 학습과 책임 조항을 직접 확인해 보신 적이 있나요? 확인해 봤다면 무엇이 가장 의외였는지 댓글로 들려주세요.

📨 이번 주 AI 안전 논쟁을 헤드라인으로만 접한 동료가 있다면 이 글을 공유해 주세요.

---

참고자료 & 더 읽기

Leading AI labs may need to be nationalized because risks are so high, Palantir’s Karp tells CNBC (CNBC, 2026.9.17)cnbc.com Zuckerberg, Nvidia CEO weigh in on Anthropic AI proposal (TheStreet, 2026.9.17)thestreet.com Meta CEO Mark Zuckerberg sides with Nvidia’s Huang on AI safety and slowdown debate (CNBC, 2026.9.15)cnbc.com Mark Zuckerberg says AI doesn’t need an industry-wide slowdown (Fortune, 2026.9.16)fortune.com Meta’s Zuckerberg and Nvidia’s Jensen make counterarguments on AI slowdown (Forbes, 2026.9.16)forbes.com Palantir CEO Alex Karp calls for AI lab nationalization (Quartz, 2026.9.17)qz.com

필자 안광섭 (오스왈드)은 세종대학교 겸임교수, INLEVEL9 전략 컨설턴트입니다. 경력, 연구, 저서와 최신 활동은 저자 소개에서 계속 갱신합니다. 최근 소식 · 2026년 8월: 2026 세종도서 교양부문 우수도서 선정.

📝 용어 설명

각주

1. 정렬(alignment): AI가 사람이 의도한 목표와 가치에 맞게 행동하도록 만드는 연구와 기법이에요. ↩

2. 반독점 면제: 원래라면 담합으로 처벌받을 수 있는 경쟁사 간 협의를, 정부가 특정 목적에 한해 허용해 주는 조치예요. ↩

3. 오픈웨이트(open-weight): 학습이 끝난 모델의 가중치를 공개해, 누구나 내려받아 자기 서버에서 돌리고 고칠 수 있게 한 모델이에요. ↩

4. 애플리케이션 레이어: 모델 위에서 기업의 데이터와 업무 흐름을 연결해 실제 일을 하게 만드는 소프트웨어 층이에요. ↩

5. 사후학습(post-training): 이미 만들어진 모델을 특정 업무나 데이터에 맞게 추가로 학습시키는 과정이에요. ↩