제195호

AI 탐지기는 독립선언서도 AI 글로 판정했어요

스탠퍼드 연구에서 비원어민 토플 에세이 91편의 61.3%가 AI 글로 오분류됐고, 1776년 독립선언서도 95~100% AI로 판정됐어요. 탐지 점수를 증거로 쓰면 안 되는 이유를 정리했어요.

사회AI 탐지기는 독립선언서도 AI 글로 판정했어요

자기소개서를 일부러 ‘덜 완벽하게’ 고친 사람들

미국 아이다호주립대에서 화학을 전공하던 로런 재거는 박사과정에 지원하다가 이상한 경고를 봤어요. 일부 지원 포털이 “자기소개서에서 AI로 쓴 흔적이 감지되면 지원서 전체를 무효 처리한다”고 안내한 거예요. 재거는 AI를 쓴 적이 없었어요. 그런데 불안한 마음에 자기 글을 온라인 탐지기 몇 개에 넣어봤더니, 하나같이 “거의 100% AI”라고 나왔어요.

재거는 결국 자기소개서를 다시 썼어요. 그것도 더 잘 쓰려는 게 아니라, 탐지기에 걸리지 않으려고 일부러 ‘덜 완벽하게’요. 그렇게 점수를 30%까지 낮추고 “이 정도면 됐다” 하고 제출했다고 해요. (다행히 그는 유타대 박사과정에 합격했어요.)

비슷한 시기, 인터넷에서는 더 황당한 일이 화제였어요. 1776년에 작성된 미국 독립선언서를 어느 탐지기에 넣었더니 “95~100% AI가 썼다”고 판정한 거예요. 250년 전 문서가요.

대학이 부정행위를 잡으려고 쓰는 이 도구들은 실제로 얼마나 정확할까요? 탐지기가 가끔 틀리는 것 자체보다, 틀릴 수 있는 도구가 낸 점수를 확정된 증거처럼 쓰는 쪽이 더 큰 문제예요.

🔍 대학이 탐지기에 매달리는 이유

챗GPT 같은 생성형 AI가 등장하면서, 글을 대신 써주는 비용이 사실상 0에 수렴했어요. 웨스턴시드니대에서 학문적 진실성을 담당하는 캐스 엘리스는 이걸 “규모의 근본적 변화”라고 불러요. 예전에도 대필은 있었지만, 지금은 “적어도 상당 부분이 조작되거나 꾸며진 결과물이 밀려드는 양 자체가 폭증했다”는 거예요.

문제는 기존 무기가 잘 안 통한다는 데 있어요. 턴잇인(Turnitin) 같은 표절 검사 도구는 방대한 기존 출판물과 문장을 대조해서 ‘베낀 흔적’을 찾아내요. 그런데 생성형 AI가 만든 문장은 어디서 통째로 베낀 게 아니라 그때그때 새로 조합돼요. 대조할 원본이 없으니 표절 검사에 안 걸려요. AI는 과거의 방대한 글을 학습해 문장을 만들지만, 그 결과물이 학습한 원본과 문장 단위로 똑같지는 않아요. 그래서 기존 글과 대조하는 표절 검사로는 잡히지 않아요.

그래서 등장한 게 “이 글은 다른 AI가 썼다”를 판별한다고 주장하는 탐지기예요. Copyleaks, GPTZero, ZeroGPT, 그리고 Grammarly와 QuillBot, Turnitin이 만든 도구까지 시장에 나와 있어요. 밀려드는 과제와 지원서 앞에서 대학과 대학원은 이 도구들에 기대기 시작했어요.

여러분의 생각이 다음 호를 만듭니다

이번 호에서 가장 공감했거나, 다른 경험을 한 지점은 무엇인가요?

댓글은 무료 회원이면 누구나 남길 수 있어요.

SEND A COFFEE

이 관점이 좋았다면, 다음 글에 커피 한 잔

오스왈드에게 커피와 함께 짧은 쪽지를 보내주세요. 응원은 다음 취재와 집필에 보탭니다.

FOR OSWARLD

커피와 쪽지 보내기

“AI 탐지기는 독립선언서도 AI 글로 판정했어요”을 읽고 떠오른 말을 남겨주세요. 메뉴 이름만큼의 응원금과 함께 전달됩니다.