학생 100명의 실험에서 본 AI 사용 빈도와 결과물 품질

코드가 한 줄도 보이지 않는 화면 앞에 100명이 앉았어요

취리히의 한 실험실에서 학생 100명이 코드가 전혀 보이지 않는 화면 앞에 앉았어요. 왼쪽에는 채팅창, 오른쪽에는 만들어지는 앱의 미리보기, 그리고 15분짜리 타이머가 놓여 있었어요.

과제는 세 개였어요. 이미 돌아가는 앱을 직접 써본 뒤 똑같이 만들기, 거기에 기능 하나 더 붙이기, 그리고 무슨 용도인지 알 수 없게 라벨을 지운 앱을 복제하기. 참가자가 할 수 있는 건 프롬프트를 쓰는 것뿐이었어요. 모델이 코드를 뱉는 화면은 진행 중이라는 것만 알 수 있게 일부러 흐리게 처리해 뒀거든요.

참가자는 55스위스프랑을 받고 한 시간 45분짜리 세션에 들어왔어요. 컴퓨터공학 입문 과목을 이수했고 LLM으로 프로그래밍을 해본 적이 있는 사람만 뽑았어요. 완전한 초보도 아니고 현업 개발자도 아닌 층이에요.

ETH 취리히 연구진이 이 실험을 사전등록¹하고 돌린 이유는 단순해요. 코드를 아예 만지지 않고 소프트웨어를 만드는 방식이 빠르게 퍼지고 있는데(흔히 말하는 바이브 코딩이죠.), 그 방식에서 누가 잘하는지는 아무도 측정해 본 적이 없거든요.

결과는 3월에 공개됐고, 최근 링크드인에서 요약본이 돌기 시작했어요. 그 요약본이 논문에 없는 문장을 결론으로 만들어 놓았어요. 그리고 논문 안에 실제로 있는 숫자 하나는 통째로 빠졌어요.

---

링크드인이 ‘개발자 100명’이라고 부른 사람들

돌고 있는 요약본의 골자는 이래요. ETH가 개발자 100명을 상용급 환경에서 시험했고, 결과는 잔혹했고, 컴퓨터공학 지식이 압도적인 예측 변수였고, 결국 바이브 코딩은 코드를 쓰는 게 아니라 로직을 디버깅하는 일이라는 것.

원문과 맞춰보면 이렇게 갈려요.

요약본	논문
개발자 100명	ETH·취리히대 학생 100명. 평균 25세, 공학·기술 51명, 자연과학 20명, 인문사회 11명
상용급 환경	상용 도구를 참고해 연구진이 직접 만든 실험용 플랫폼. 코드를 아예 안 보여준다는 점에서 상용 도구와 다름
압도적 예측 변수	CS 성취2와 성과의 상관은 0.39. 글쓰기까지 넣은 모델의 설명력은 20.8%
잔혹한 결과	바이브 코딩 평균 점수는 1점 만점에 0.45. 전원이 고전했음
코드를 보고 로직을 디버깅하는 일	참가자는 코드를 볼 수 없었음. 저자들은 인과 주장을 명시적으로 거부하고 문제 분해 능력을 가설로만 제시

하나는 맞아요. 컴퓨터공학 성취가 글쓰기보다 고유 설명력을 두 배쯤 더 가져간 건 사실이에요. 글쓰기를 먼저 넣고 CS를 더하면 설명력이 12.5%포인트 오르고, 순서를 뒤집으면 5.9%포인트가 올라요.

다만 글쓰기와 성과의 관계는 다른 조건을 함께 고려하면 달라졌어요. 일반 인지능력³을 통제하자 글쓰기와 성과의 관계는 통계적 유의성을 잃었어요. 부분상관⁴ 0.186, p값 0.066이에요. 같은 조건에서 CS 성취와 성과의 관계는 통계적으로 유의했어요.

그리고 논문 본문이 아니라 탐색적 분석에 묻혀 있던 숫자가 하나 있어요.

참가자가 스스로 보고한 LLM 사용 빈도는 바이브 코딩 성과와 음의 상관을 보였어요. 상관계수 −0.258, p값 0.010이에요. 이게 무슨 뜻이냐? 자주 쓴다고 답한 사람일수록 더 못 만들었다는 뜻이에요. 글쓰기 점수와도 −0.282로 음의 상관이었고, CS 성취와는 0.001, 사실상 무상관이었어요.