9초 만에 끝난 AI 사고, 문제는 탐지·복구 시간이에요

운영 DB와 백업이 사라지는 데 걸린 9초

2026년 4월 26일 미국의 작은 SaaS 스타트업 포켓OS에서 일이 하나 터졌어요. 테스트 환경을 손보던 AI 코딩 에이전트가 “문제를 해결하기 위해” 스스로 판단해 클라우드 볼륨을 지웠는데, 그게 운영 데이터베이스와 연결돼 있었어요. 백업도 같은 볼륨에 있었고요. 걸린 시간은 9초였어요.

기사 제목들은 대체로 “AI가 회사를 날렸다”는 쪽이었어요. 그런데 저는 이 사고에서 다른 숫자가 계속 걸렸어요. 9초라는 숫자요. 사람이 화면을 보고, 이상하다고 느끼고, 손을 뻗어 멈추는 데 걸리는 시간보다 짧거든요.

이 사고의 원인은 AI가 똑똑해진 데 있지 않아요. 기계는 초 단위로 명령을 실행하는데, 사람은 그 사이에 상황을 파악하고 멈출 수 없다는 속도 차이가 원인이에요. 같은 진단이 66년 전에 이미 나와 있었어요.

---

1960년 5월 위너의 논문: 사람이 느려서 통제가 무효가 된다

노버트 위너는 사이버네틱스¹를 만든 수학자예요. 1959년 12월 시카고에서 열린 미국과학진흥협회 학술대회에서 강연을 하나 했고, 그 원고를 다듬어 이듬해 5월 《사이언스》에 실었어요. 제목은 「자동화의 몇 가지 도덕적·기술적 귀결」이고요.

논문에 붙은 부제는 이런 문장이에요.

“기계는 학습하면서, 그것을 프로그래밍한 사람조차 당황하게 만드는 속도로 예상치 못한 전략을 발전시킬 수 있다.”

1960년이에요. 위너가 근거로 든 건 IBM의 체커 프로그램이었어요. 그가 관찰한 바로는, 이 프로그램이 10시간에서 20시간 정도 학습하고 나면 자기를 프로그래밍한 사람보다 확실히 잘 두더라는 거예요. 지금 기준으로는 사소한 사례예요. 그런데 위너가 여기서 끌어낸 결론은 사소하지 않아요.

“우리 인간의 행동이 느리다는 그 사실 하나만으로, 기계에 대한 우리의 실효적 통제는 무효가 될 수 있다. 감각이 전해준 정보에 반응해서 운전 중인 차를 세울 수 있게 될 즈음이면, 차는 이미 벽에 정면으로 박은 뒤일지도 모른다.”

그리고 이어서 이렇게 못을 박아요.

“기계는 이론상으로는 인간의 비판을 받는다. 하지만 그 비판은 유효한 시점이 한참 지난 뒤에야 이루어질 수 있다.”

논문에는 아예 「시간 척도(Time Scales)」라는 절이 따로 있어요. 위너는 학습 기계가 위험해지는 가장 큰 이유로 딱 하나를 꼽아요. 사람과 기계가 서로 다른 시간 척도 위에서 작동하고, 그 둘이 심각한 마찰 없이는 맞물리지 않는다는 것이요.

위너는 이 점을 다음 문장에서 분명하게 밝혀요.

“매우 다른 시간 척도 위에서 두 개의 제어 주체가 함께 작동할 때마다 같은 종류의 문제가 발생한다. 어느 쪽이 빠르고 어느 쪽이 느린지는 상관이 없다.”

그러니까 위너의 진단은 “기계가 빨라서 위험하다”가 아니에요. 속도 차이 자체가 통제를 무효로 만든다는 거예요. 그 증거로 그는 반대 방향의 예도 들어요. 과학자 개인과 과학사의 관계요. 과학이라는 긴 과정에서는 50년이 개인의 하루와 같아서, 개인 과학자는 자기가 참여한 과정의 아주 작은 조각밖에 볼 수 없다고요. 이쪽은 기계가 느린 경우인데, 여기서도 통제는 똑같이 어려워져요.

---