2026.09.04제232호

9초 만에 끝난 AI 사고, 문제는 탐지·복구 시간이에요

AI 에이전트의 데이터 삭제 사고와 위너의 1960년 논문을 통해, 사람이 문제를 알아차리고 복구할 시간을 어떻게 확보할지 살펴봤어요

비즈니스

운영 DB와 백업이 사라지는 데 걸린 9초

2026년 4월 26일 미국의 작은 SaaS 스타트업 포켓OS에서 일이 하나 터졌어요. 테스트 환경을 손보던 AI 코딩 에이전트가 “문제를 해결하기 위해” 스스로 판단해 클라우드 볼륨을 지웠는데, 그게 운영 데이터베이스와 연결돼 있었어요. 백업도 같은 볼륨에 있었고요. 걸린 시간은 9초였어요.

기사 제목들은 대체로 “AI가 회사를 날렸다”는 쪽이었어요. 그런데 저는 이 사고에서 다른 숫자가 계속 걸렸어요. 9초라는 숫자요. 사람이 화면을 보고, 이상하다고 느끼고, 손을 뻗어 멈추는 데 걸리는 시간보다 짧거든요.

이 사고의 원인은 AI가 똑똑해진 데 있지 않아요. 기계는 초 단위로 명령을 실행하는데, 사람은 그 사이에 상황을 파악하고 멈출 수 없다는 속도 차이가 원인이에요. 같은 진단이 66년 전에 이미 나와 있었어요.

1960년 5월 위너의 논문: 사람이 느려서 통제가 무효가 된다

노버트 위너는 사이버네틱스¹를 만든 수학자예요. 1959년 12월 시카고에서 열린 미국과학진흥협회 학술대회에서 강연을 하나 했고, 그 원고를 다듬어 이듬해 5월 《사이언스》에 실었어요. 제목은 「자동화의 몇 가지 도덕적·기술적 귀결」이고요.

논문에 붙은 부제는 이런 문장이에요.

“기계는 학습하면서, 그것을 프로그래밍한 사람조차 당황하게 만드는 속도로 예상치 못한 전략을 발전시킬 수 있다.”

1960년이에요. 위너가 근거로 든 건 IBM의 체커 프로그램이었어요. 그가 관찰한 바로는, 이 프로그램이 10시간에서 20시간 정도 학습하고 나면 자기를 프로그래밍한 사람보다 확실히 잘 두더라는 거예요. 지금 기준으로는 사소한 사례예요. 그런데 위너가 여기서 끌어낸 결론은 사소하지 않아요.

“우리 인간의 행동이 느리다는 그 사실 하나만으로, 기계에 대한 우리의 실효적 통제는 무효가 될 수 있다. 감각이 전해준 정보에 반응해서 운전 중인 차를 세울 수 있게 될 즈음이면, 차는 이미 벽에 정면으로 박은 뒤일지도 모른다.”

그리고 이어서 이렇게 못을 박아요.

“기계는 이론상으로는 인간의 비판을 받는다. 하지만 그 비판은 유효한 시점이 한참 지난 뒤에야 이루어질 수 있다.”

논문에는 아예 「시간 척도(Time Scales)」라는 절이 따로 있어요. 위너는 학습 기계가 위험해지는 가장 큰 이유로 딱 하나를 꼽아요. 사람과 기계가 서로 다른 시간 척도 위에서 작동하고, 그 둘이 심각한 마찰 없이는 맞물리지 않는다는 것이요.

위너는 이 점을 다음 문장에서 분명하게 밝혀요.

“매우 다른 시간 척도 위에서 두 개의 제어 주체가 함께 작동할 때마다 같은 종류의 문제가 발생한다. 어느 쪽이 빠르고 어느 쪽이 느린지는 상관이 없다.”

그러니까 위너의 진단은 “기계가 빨라서 위험하다”가 아니에요. 속도 차이 자체가 통제를 무효로 만든다는 거예요. 그 증거로 그는 반대 방향의 예도 들어요. 과학자 개인과 과학사의 관계요. 과학이라는 긴 과정에서는 50년이 개인의 하루와 같아서, 개인 과학자는 자기가 참여한 과정의 아주 작은 조각밖에 볼 수 없다고요. 이쪽은 기계가 느린 경우인데, 여기서도 통제는 똑같이 어려워져요.

초 단위로 끝나버린 최근 사례 세 가지

이제 66년 뒤로 와볼게요. 사람이 개입할 틈 없이 기계 쪽에서 일이 끝나버린 사례를 세 가지만 보겠어요.

첫째, 9초. 앞서 말한 포켓OS 사건이에요. 여기서 중요한 건 에이전트가 악의를 가졌냐가 아니라, 파괴적 명령이 확인 절차 없이 실행되는 구조였다는 점이에요. 이 회사는 결국 3개월 전 백업으로 부분 복구하고, 그 이후 기록은 수작업으로 다시 만들고 있어요.

둘째, 초당 여러 건. 앤트로픽이 2025년 9월 중순에 탐지하고 11월에 보고서를 공개한 사이버 첩보 작전 사례예요. 약 30개 조직이 표적이 됐고, 보고서 표현으로는 “AI가 전체 전술적 작업의 약 80~90%를 독립적으로 수행”했어요. 사람이 개입한 주요 결정은 이런 것들이었어요. 정찰에서 실제 침투로 넘어갈지 승인하고, 탈취한 계정으로 옆으로 이동할지 승인하고, 어디까지 빼낼지 결정하는 것. 나머지 작업은 사람의 확인 없이 AI가 이어서 처리했어요. 숙련된 사람이 몇 달 걸릴 일이 며칠로 압축됐고요.

셋째, 89%. 골드만삭스 등을 인용한 올해 2월 국내 보도에 따르면, 글로벌 금융시장 거래의 약 89%가 알고리즘으로 이뤄지고 있어요. 하루 최소 3조 7,000억 달러 규모예요. 이 시장이 어떻게 무너지는지는 2010년 플래시 크래시²가 보여줬어요. 5분 만에 다우지수 약 1,000포인트가 빠졌고, 시가총액 1조 달러가 증발했어요. 5분은 트레이더가 무슨 일이 일어났는지 파악하기에도 짧은 시간이에요.

세 사례의 공통점은 분명해요. 어느 것도 “AI가 사람보다 똑똑해서” 생긴 일이 아니에요. 전부 사람이 상황을 알아차리고 판단해 손을 쓰기 전에 사건이 끝나 있었다는 점이 같아요. 위너가 말한 벽에 박은 자동차와 같은 상황이에요.

정지 버튼보다 어려운 문제: 위너의 운동실조 비유

그런데 이 논문에서 제가 가장 오래 붙들려 있었던 건 자동차가 아니라 다른 비유였어요. 위너는 신경생리학 용어를 하나 꺼내요. 운동실조³예요.

“신경생리학적 언어로 말하면, 운동실조는 마비만큼이나 큰 박탈일 수 있다.”

운동실조 환자는 근육에도, 운동신경에도 아무 문제가 없어요. 힘도 있고 명령도 전달돼요. 그런데 자기 몸이 지금 어떤 자세인지, 지금 받고 있는 힘이 넘어질 만한 힘인지 아닌지를 알려주는 감각이 작동하지 않아요. 그래서 서 있질 못해요. 위너는 이 상태가 마비와 다를 게 없다고 말해요.

그리고 곧바로 이렇게 덧붙여요.

“재앙적 결과를 피하려면, 우리 쪽의 어떤 행동이 기계의 진로를 바꾸기에 충분하다는 것만으로는 부족하다. 그런 행동을 고려할 근거가 되는 정보 자체가 우리에게 없을 가능성이 충분히 있기 때문이다.”

정지 버튼이 있느냐가 문제가 아니라는 거예요. 누를 이유를 제때 알 수 있느냐가 문제라는 거죠. 요즘 말로 옮기면 관측 가능성⁴ 얘기예요.

여기에 사람 쪽 결함이 하나 더 겹쳐요. 자동화 편향⁵이요. 의료정보학 분야에서 자주 인용되는 고다드 연구팀의 2012년 체계적 문헌고찰은 이걸 이렇게 정리해요. 대체로 정확한 자동 시스템과 오래 일하면, 사람은 결과를 독립적으로 검증하는 일을 그만둔다고요. 승인 요청이 반복되다 보면 내용을 읽지 않고 누르게 될 수 있어요. 그게 게을러서가 아니라 그렇게 설계된 환경의 자연스러운 결과예요.

EU AI법은 이 문제를 조문에 반영해뒀어요. 14조 4항은 고위험 AI를 감독하는 사람이 갖춰야 할 능력을 열거하면서, “자동화 편향에 빠질 수 있다는 점을 계속 인지할 것”과 “정지 버튼 등으로 시스템을 안전한 상태에서 멈출 수 있을 것”을 나란히 적어놨어요. 위너가 1960년에 쓴 두 문장이 60여 년 만에 조문이 된 셈이에요.

문제는 조문이 사람에게 필요한 시간을 만들어주지는 않는다는 거예요. 9초 만에 끝나는 사건에서는 정지 버튼이 있어도 누를 시간이 없어요. 정지 버튼은 사람이 이상을 알아차리고 판단할 시간이 확보돼 있을 때만 실제로 작동해요.

그래서 무엇을 설계해야 할까요

위너는 마지막에 병 공장 이야기를 해요. 공장을 최대 생산성 기준으로 프로그래밍해두면, 사장은 6개월 전에 생산을 멈췄어야 했다는 사실을 알게 될 즈음에는 이미 안 팔리는 병 재고 때문에 파산해 있을 수 있다고요. 기계는 시킨 대로 완벽하게 일했는데도요.

여기서 실무적으로 끌어낼 수 있는 원칙이 세 개 있다고 봐요.

하나, 속도를 늦추는 대신 되돌릴 수 있는 구조를 만드세요. 자동화의 이점은 속도인데, 속도를 깎으면 도입할 이유가 없어져요. 대신 되돌릴 수 있는 행위와 없는 행위를 갈라놓는 건 속도를 거의 안 깎아요. 포켓OS 사고에서 진짜 치명적이었던 건 삭제가 아니라 백업이 같은 볼륨에 있었다는 사실이에요. 되돌릴 방법이 아예 없으면 사고가 빠르게 났든 서서히 났든 복구하기 어렵다는 문제가 남아요.

둘, 확인 요청을 줄여야 확인이 실제로 이뤄져요. 확인 창을 많이 띄우는 건 안전 조치처럼 보이지만 반대로 작동해요. 요청을 계속 반복하면 나중에는 내용을 건너뛰고 승인할 수 있어요. 되돌릴 수 없는 파괴적 행위 몇 개에만 확인을 몰아주고 나머지는 확인 없이 실행하게 두는 편이, 확인의 총량을 늘리는 것보다 안전해요.

셋, 진행 중에 사람이 알아차릴 수 있는 신호를 만드세요. 앞서 본 운동실조에 대한 처방이에요. 사고가 끝난 뒤에 남는 감사 로그는 넘어진 다음에 자세를 알려주는 것과 같아요. 필요한 건 작업이 진행되는 동안 현재 상태를 알려주는 신호예요. 실무에서는 대개 이상 탐지 알림과 자동 차단 임계값 두 가지 조합이고요.

nine seconds two clocks 그리고 위너가 논문 내내 반복한 경고 하나. 그는 마법사의 제자, 아라비안나이트의 어부와 지니, W. W. 제이컵스의 「원숭이 손」을 차례로 불러내면서 이렇게 정리해요.

“기계에 넣은 목적이 정말로 우리가 원하는 목적인지, 그 목적의 화려한 모조품이 아닌지를 확실히 해두는 편이 낫다.”

AI가 추구하는 목표를 사람의 의도와 맞추려는 오늘날의 얼라인먼트 논의와도 연결되는 지적이에요.

오스왈드의 시선

GTM 전략을 짜면서 반복해서 봐온 패턴이 하나 있어요. 기술이 무엇을 바꿀 것이라는 전망은 대체로 맞고, 언제 어떤 경로로 바뀔 것이라는 전망은 거의 다 틀려요. 그래서 저는 오래된 예측 문서를 볼 때 결론보다 구조를 먼저 봐요.

위너는 이 패턴에 잘 들어맞지 않아요. 시기는 크게 틀렸어요. 1960년에 그가 본 최첨단은 체커 프로그램이었으니까요. 그런데 구조는 정확히 맞췄어요. 왜 그럴까 생각해봤는데, 답은 단순한 것 같아요. 위너가 예측한 건 기계의 능력이 아니라 인간과 기계의 관계였거든요. 능력은 예측이 안 되지만 관계의 구조는 예측이 돼요. 우리 반응 속도는 1960년 이후로 조금도 빨라지지 않았으니까요.

요즘 AI 도입 워크숍에 들어가면 가장 많이 받는 질문이 “어디까지 자동화할까요”예요. 저는 언제부터인가 이 질문에 바로 답하지 않고 되물어요. “이게 잘못 돌았을 때 알아차리는 데 몇 분 걸리세요? 되돌리는 데는요?” 두 숫자를 바로 답하는 곳이 생각보다 드물어요. 자동화 범위는 문서에 정리돼 있는데, 탐지 시간과 복구 시간은 어느 문서에도 없어요.

그래서 저는 지금 진짜 위험이 “AI가 사람을 대체한다”가 아니라고 봐요. 감독 책임은 사람에게 있는데, 실제 판단과 실행은 사람이 따라갈 수 없는 속도로 기계가 처리하는 상태, 그게 더 위험해요. 감독한다고 적혀 있는데 감독이 물리적으로 불가능한 속도로 돌아가는 구조요.

위너는 이걸 주인과 노예의 역설로도 설명했어요. 우리는 노예가 똑똑해서 일을 잘해주길 바라면서 동시에 완전히 복종하길 바라는데, 완전한 복종과 완전한 지능은 같이 가지 않는다고요. 지금 우리가 에이전트에게 요구하는 게 정확히 그거예요.

마치며

정리할게요. 첫째, 최근의 AI 사고들은 지능의 문제가 아니라 시간 척도의 문제예요. 사건이 사람의 인지 속도보다 빠르게 끝나요. 둘째, 이 진단은 위너가 1960년에 이미 완성해뒀고, 그가 붙인 처방은 정지 버튼이 아니라 “누를 이유를 제때 아는 능력”이었어요. 셋째, 그래서 실무의 초점은 자동화 범위가 아니라 탐지 시간과 복구 시간 두 숫자로 옮겨가야 해요.

이번 주에 딱 하나만 해보시길 권해요. 지금 돌아가고 있는 자동화 프로세스 하나를 고르고, 옆에 두 숫자를 적어보세요. 잘못됐을 때 알아차리는 데 몇 분, 되돌리는 데 몇 분. 이 둘의 합이 사고가 났을 때 잘못된 상태가 유지되는 시간이에요. 자동화 범위보다 이 합이 훨씬 중요해요.

혹시 실무에서 에이전트나 자동화 스크립트에 권한을 줬다가 “이건 좀 아찔했다” 싶었던 순간이 있으셨나요? 어떤 권한이었고, 이상하다는 걸 알아차리기까지 얼마나 걸렸는지 댓글로 들려주세요. 사례가 모이면 다음 호에서 권한 종류별로 어떤 위험이 있는지 정리해볼게요.

💬 에이전트에 권한을 줬다가 아찔했던 순간, 알아차리는 데 걸린 시간까지 댓글로 들려주세요. 다음 호에 반영해볼게요. 📨 자동화 파이프라인을 돌리고 있는 동료가 있다면, 이 글을 건네주세요.

여러분의 생각이 다음 호를 만듭니다

이번 호에서 가장 공감했거나, 다른 경험을 한 지점은 무엇인가요?

SEND A COFFEE

이 관점이 좋았다면, 다음 글에 커피 한 잔

오스왈드에게 커피와 함께 짧은 쪽지를 보내주세요. 응원은 다음 취재와 집필에 보탭니다.

참고자료 & 더 읽기

핵심 출처

Norbert Wiener, “Some Moral and Technical Consequences of Automation”, Science, Vol. 131, No. 3410, 1960년 5월 6일, pp. 1355–1358. 링크 ··· 오늘 글의 뼈대예요. 1959년 12월 27일 AAAS 시카고 대회 강연이 원본이고, 네 쪽짜리라 원문으로 읽어도 부담이 없어요. 「Time Scales」 절부터 읽으시길 추천해요.
Anthropic, Disrupting the first reported AI-orchestrated cyber espionage campaign, 2025년 11월. 링크 ··· “80~90% 독립 수행”과 사람이 개입한 세 지점이 어디였는지가 정리돼 있어요. 다만 보고서 주체가 해당 모델의 개발사라는 점은 감안하고 읽으시는 게 좋아요.
「“클로드 기반 코딩 에이전트 오작동으로 회사 DB 전체 날아가”」, 《AI타임스》, 2026년 4월 28일. 링크 ··· 9초 사건의 사실관계예요. 백업이 같은 볼륨에 있었다는 부분이 이 사고의 진짜 원인이에요.
「전세계 거래의 89%…’알고리즘 매매’가 주식·금값 폭락 주범」, 《이데일리 마켓인》, 2026년 2월 13일. 링크 ··· 알고리즘 매매 비중과 플래시 크래시 수치의 출처예요. 인용 지표가 여러 기관에서 온 추정치라 범위로 이해하시는 게 안전해요.

배경 지식

Kate Goddard, Abdul Roudsari & Jeremy C. Wyatt, “Automation bias: a systematic review of frequency, effect mediators, and mitigators”, Journal of the American Medical Informatics Association, 19(1), 2012, pp. 121–127. 링크 ··· 자동화 편향 논의의 표준 참고문헌이에요. 의료 현장 연구지만 결론은 그대로 옮겨와도 무리가 없어요.
「Article 14: Human Oversight」, EU Artificial Intelligence Act. 링크 ··· 4항 (b)와 (e)만 보셔도 충분해요. 자동화 편향과 정지 버튼이 한 조항 안에 나란히 들어가 있어요.
Norbert Wiener, The Human Use of Human Beings, Houghton Mifflin, 1950. 링크 ··· 오늘 논문의 주장을 대중서 분량으로 펼친 책이에요. 논문이 좋으셨다면 이쪽으로 이어가시면 돼요.

필자 안광섭 (오스왈드)은 세종대학교 겸임교수, INLEVEL9 전략 컨설턴트입니다. 경력, 연구, 저서와 최신 활동은 저자 소개에서 계속 갱신합니다. 최근 소식 · 2026년 8월: 2026 세종도서 교양부문 우수도서 선정.

📝 용어 설명

각주

사이버네틱스(Cybernetics): 생물이든 기계든 조직이든, 무언가를 제어하고 정보를 주고받는 방식을 하나의 틀로 설명하려는 학문이에요. 위너가 1948년에 이름을 붙였고, 지금의 제어공학·인공지능·시스템 이론이 모두 여기서 갈라져 나왔어요. ↩
플래시 크래시(Flash Crash): 알고리즘 매매가 서로를 촉발하면서 시장이 몇 분 만에 급락했다가 대부분 회복하는 현상이에요. 2010년 5월 6일 미국 증시 사례가 대표적이에요. ↩
운동실조(Ataxia): 근육과 운동신경에는 이상이 없는데, 자기 몸의 위치와 힘을 감지하는 감각이 손상돼 움직임을 조절하지 못하는 상태예요. 힘이 없어서가 아니라 감각이 없어서 못 서는 거예요. ↩
관측 가능성(Observability): 시스템 바깥으로 나오는 신호만 보고 안에서 무슨 일이 벌어지는지 알아낼 수 있는 정도를 뜻해요. 로그를 많이 쌓는 것과는 달라요. 문제를 제때 알아차릴 수 있느냐가 기준이에요. ↩
자동화 편향(Automation Bias): 자동 시스템이 대체로 맞다 보니, 사람이 그 결과를 스스로 검증하는 일을 점점 그만두게 되는 경향이에요. 시스템이 정확할수록 오히려 강해진다는 게 이 편향의 까다로운 점이에요. ↩