AI 결과를 검증할 때 나눠 봐야 할 두 가지 검사

AI가 만든 결과를 무엇으로 검사할까요

몇 년 전에는 프롬프트 엔지니어링이 주로 주목받았어요. 모델이 원하는 대로 움직일 때까지 문장 하나를 고치는 작업이었죠. 작년엔 같은 일에 컨텍스트 엔지니어링이라는 이름이 새로 붙었고, 올해 스레드에선 루프 엔지니어링이라고 불러요. 그 아래엔 늘 같은 문장이 따라붙어요. “이제 병목은 모델이 아니라 검증자예요.”

이름이 바뀔 때마다 개발자들은 똑같이 반응해요. “진짜 달라진 거야, 아니면 강의 하나 팔려고 이름만 바꾼 거야?” 이 의심은 대체로 옳아요. AI 도구 용어는 그게 가리키는 문제보다 훨씬 빨리 갈아치워지거든요.

제가 주목하는 건 작업 범위가 넓어졌다는 점이에요. 요청 문장을 쓰는 데서 모델에 넣을 자료를 고르고, 생성과 검사를 반복하는 과정 전체를 설계하는 일로 관심이 옮겨갔어요. 다만 가장 최신 이름이 가리키는 문제는 진짜인데, 이름을 붙였다고 그 문제가 풀리지는 않아요.

---

작업 단위가 프롬프트 한 문장이던 시기

2022년부터 2024년까지로 잡아볼게요. 많은 사용자가 프롬프트 문장을 다듬는 데 집중했어요. 퓨샷¹ 예시를 넣고, 역할을 부여하고, “단계별로 생각해봐”를 붙이고, 무엇을 먼저 물을지 순서를 바꾸고. 검색 자료를 연결하거나 도구를 쓰는 방법도 있었지만, 일반 사용자에게 가장 익숙한 개선 방법은 요청 문장을 고치는 일이었어요.

돌이켜보면 그 시절 노하우는 거의 다 ‘한 문장을 어떻게 쓰느냐’로 수렴했어요. 예시를 몇 개 넣을지, 어떤 순서로 물을지, 역할을 어떻게 줄지. 지금도 이 감각은 유효해요. 좋은 프롬프트는 여전히 좋은 결과의 출발점이거든요. 지금은 요청 문장만으로 해결하기 어려운 작업을 맡기는 경우가 많아졌어요.