AI 하네스와 스킬은 각각 어떤 일을 할까요

생산성 100배라는 말을 확인해 보고 싶었어요

저는 생산성이 몇 배 높아졌다는 말을 들으면 먼저 무엇을 기준으로 비교했는지 궁금해져요. AI 에이전트를 잘 쓰면 생산성이 100배가 된다는 주장도 그랬어요. 숫자를 그대로 받아들이기보다, 같은 모델을 쓰면서 작업 방식이 어떻게 달라질 수 있는지 살펴보고 싶었어요.

그 무렵인 2026년 3월 31일, Claude Code의 클라이언트 소스가 npm 배포 패키지의 소스맵을 통해 노출된 사건이 있었어요. 약 51만 줄 규모의 프로그램 코드였어요. 모델의 가중치가 아니라 모델을 호출하고 도구를 실행하는 제품 코드에 관한 사건이에요. 이 일과 관련해서는 ZDNet 칼럼도 쓴 적이 있어요.

Y Combinator의 개리 탄은 이 코드를 읽고 자신이 강조하던 설계 방식이 중요하다는 생각을 재확인했다고 썼어요. 그가 주목한 것은 모델에 필요한 파일과 정보를 제공하고 작업을 이어가는 프로그램 구조였어요.

그 글의 제목이 Thin Harness, Fat Skills예요. 실행을 조정하는 프로그램은 간결하게 두고, 업무별 절차는 재사용할 수 있는 스킬로 정리하자는 제안이에요.

저는 생산성 배수보다 이 역할 분담에 관심이 갔어요. 모델 성능이 같아도 어떤 자료를 읽게 하고, 어떤 도구를 쓸 수 있게 하며, 결과를 어떻게 확인하는지에 따라 작업 결과는 달라질 수 있으니까요.

같은 모델을 써도 작업 조건은 달라요

탄의 글은 스티브 예기의 큰 생산성 향상 주장을 인용하며 시작해요. 코딩 에이전트를 잘 다루는 사람이 챗봇이나 다른 도구를 쓰는 사람보다 10~100배 생산적이라는 것이에요. 하지만 해당 글에는 이 배수를 일반화할 수 있는 비교 실험이나 공통 측정 기준이 제시돼 있지 않아요.

따라서 100배라는 수치가 코드 노출 사건으로 입증됐다고 말하기는 어려워요. 확인할 만한 질문은 더 구체적이에요. 모델이 저장소의 규칙을 알고 있는지, 필요한 자료를 찾을 수 있는지, 코드를 실행한 뒤 오류를 확인할 수 있는지예요.

모델 자체의 능력과 함께 이런 작업 환경을 봐야 해요. 어느 한쪽만 좋으면 모든 문제가 해결된다고 보기는 어려워요.

예를 들어 코드를 고치라는 요청을 받은 에이전트는 관련 파일을 읽고, 수정하고, 테스트 결과를 받아 다음 행동을 결정해요. 이 과정을 이어주는 프로그램이 있어야 모델의 응답이 실제 작업으로 연결돼요. 공개되지 않은 기능 이름이나 코드의 존재만으로 그 기능이 제품에 출시됐다고 판단할 수도 없고요.

이렇게 모델 호출, 도구 실행, 작업 상태와 권한 등을 관리하는 프로그램을 하네스(harness)¹라고 불러요. 이 글에서는 모델이 실제 일을 할 수 있도록 실행 과정을 관리하는 부분이라는 뜻으로 이해하면 돼요.