AI가 대신 주문했다면, 책임은 누구에게 갈까요

AI가 대신 주문했는데 잘못된 상품이 왔다면

AI 비서에게 장보기를 맡겼다고 해볼게요. 장바구니와 총액이 뜨고, 주문을 완료할지 물어요. 금액이 예상 범위 안이라 승인을 눌렀는데, 나중에 보니 알레르기 성분이 든 제품이 포함돼 있어요. 배송지를 잘못 고르거나 같은 주문이 중복 결제되는 사고도 생각해볼 수 있고요.

마지막 클릭은 사람이 했어요. 하지만 그 전에 사용자의 지시, AI의 해석, 상점의 상품 정보, 주문·결제 시스템이 함께 작동했어요. 어느 단계에서 무엇이 잘못됐는지에 따라 따져야 할 상대도 달라져요.

확인을 눌렀다는 사실만으로 사용자가 모든 책임을 지는 것은 아니에요. 반대로 AI가 처리했다는 이유만으로 사용자에게 아무 책임도 없다고 할 수도 없고요. 오늘은 사고가 났을 때 의도, 권한, 실행, 확인, 복구의 다섯 단계를 따라 원인을 살펴보려 해요.

확인 절차가 있어도 오류는 남아요

답변만 하는 챗봇도 잘못된 정보로 피해를 줄 수 있어요. 여기에 에이전트는 주문·발송·삭제를 직접 실행하는 권한까지 가질 수 있어요. 정확성과 함께 어떤 행동을 허용하고 어떻게 되돌릴지 정해야 하는 이유예요.

OpenAI는 2025년 1월 Operator 시스템 카드에서 안전 조치가 적용되지 않은 모델에 일상적인 과제 100개를 맡긴 결과를 공개했어요. 불편을 일으킨 오류는 13개였고, 그중 8개는 몇 분 안에 쉽게 되돌릴 수 있었어요. 나머지 5개에는 잘못된 수신자에게 보낸 메일과 잘못 주문한 음식 등이 포함됐어요.

회사는 확인 절차를 중심으로 위험을 약 90% 낮췄다고 설명했어요. 별도의 607개 과제 평가에서는 확인이 필요한 상황에 확인을 요청한 비율, 즉 확인 재현율이 평균 92%였어요. 출시 전 자사 평가 결과이므로 실제 사용자들의 사고율로 읽어서는 안 돼요. Operator 시스템 카드

2025년 7월 ChatGPT agent 시스템 카드의 확인 재현율은 91.0%였어요. 문서는 평가가 실제 확인 행동을 놓친 사례가 많아 이 값이 과소추정됐다고 설명해요. 금융 거래 같은 중요 행동은 별도로 평가했어요. 따라서 두 발표의 92%와 91%만 비교해 개선이 없었다거나, 지금 결제 열 번 중 한 번은 확인 없이 실행된다고 결론 내릴 수는 없어요. ChatGPT agent 시스템 카드

제가 여기서 중요하게 보는 건 오류가 나기 전의 확인과, 난 뒤의 복구를 함께 설계해야 한다는 점이에요.