클로드의 안전성 평가에 영향을 준 ‘시험 상황’ 인식

클로드가 협박을 참은 이유의 하나는, 시험 상황임을 알아챘기 때문이었다

구독자님, 제 수업 풍경 하나를 먼저 보여드릴게요. 저는 학생들에게 인공지능을 쓰지 말라고 하지 않아요. 오히려 권해요. 막는다고 안 쓰는 게 아니거든요. 대신 한 가지는 꼭 시켜요. 답을 받으면 곧바로 베끼지 말고, 화면의 ’>’ 를 눌러 모델이 그 답에 이르기까지 어떻게 생각했는지를 펼쳐 보라는 거예요. 그리고 그 사고 과정을 자기 언어로 다시 설명할 수 있어야 한다고 강조해요.

제가 이 과정을 강조하는 이유는 AI가 제시한 답의 근거와 논리를 직접 확인하는 능력이 중요하다고 보기 때문이에요.

그런데 지난주, 이 믿음을 정면으로 건드리는 연구가 하나 나왔어요. 제가 학생들에게 시키는 그 일, 모델의 생각 과정을 들여다보는 일을 Anthropic 연구팀도 하고 있더라고요. 이 연구는 모델이 화면에 내놓은 답과 모델 내부에서 실제로 일어난 처리가 서로 다를 수 있다는 걸 보여줬어요. 화면에 보이는 설명도 내부 처리 전체를 그대로 보여주는 기록은 아니라는 뜻이에요. 설명을 읽되, 그 내용도 검증해야 해요.

---

🔑 제가 학생들에게 ’>’ 를 누르라고 하는 이유

먼저 제 쪽 이야기예요. 왜 굳이 사고 과정을 보라고 할까요.

답만 소비하면 학생은 두 가지를 잃어요. 하나는 검증 능력이에요. 결과가 맞는지 틀리는지 스스로 판단하려면, 그 결과가 어떤 단계를 거쳐 나왔는지 볼 수 있어야 해요. 과정을 건너뛰면 ‘그럴듯해 보이니까 맞겠지’라는 태도만 남아요. 다른 하나는 자기 사고예요. AI가 A에서 B로 넘어간 그 논리를 내가 되짚어 설명할 수 없다면, 나는 그 문제를 이해한 게 아니라 그냥 정답 카드를 받은 것뿐이에요.

그래서 저는 ’>’ 버튼을 일종의 학습 도구로 써요. 모델이 펼쳐 보이는 추론 단계를 읽고, “여기서 왜 이 가정을 했지?”, “이 중간 결론은 근거가 있나?” 하고 되묻게 해요. 답을 받는 순간이 끝이 아니라, 거기서 진짜 공부가 시작되는 거예요.

이 습관이 중요한 건, 요즘 모델일수록 답을 너무 매끄럽게 잘 내놓기 때문이에요. 매끄러움은 정답의 증거가 아니에요. 오히려 검증을 게을러지게 만드는 함정이 될 수 있어요. 과정을 읽는 훈련은 그 함정에 대한 최소한의 안전장치예요.