AI 에이전트를 오래 쓴 사람들은 어떻게 일을 맡기고 개입했을까?

Anthropic이 2026년 2월 18일 발표한 연구를 읽었어요. Claude Code와 공개 API를 통해 이루어진 수백만 건의 인간·에이전트 상호작용을 분석한 자료예요. 저는 모델의 시험 점수보다, 사람들이 실제로 일을 맡기고 개입하는 방식을 살펴봤다는 점이 흥미로웠습니다.

이 연구에서 에이전트는 코드를 실행하거나 외부 API를 호출하는 등 도구를 통해 행동할 수 있는 AI 시스템을 뜻해요. 연구진은 에이전트가 얼마나 오래 혼자 작업하는지, 사용자는 언제 승인하거나 중단하는지, 어떤 분야에서 도구를 쓰는지를 살펴봤어요.

제가 특히 주목한 결과는 경험이 많은 사용자가 자동 승인을 더 자주 쓰면서, 작업 중간에 개입하는 비율도 높았다는 점이에요. AI에 더 맡긴다는 것이 반드시 감독을 덜 한다는 뜻은 아니었던 거죠.

대부분의 작업 구간은 짧았고, 아주 긴 구간은 더 길어졌어요

Claude Code 분석의 단위는 한 번 작업을 시작한 뒤 완료하거나, 질문하거나, 사용자가 중단할 때까지의 ‘턴’이에요. 프로젝트 전체를 끝내는 데 걸린 시간과는 다릅니다.

턴 지속 시간의 중간값은 약 45초였어요. 관측 기간에는 40~55초 사이에서 비교적 안정적으로 유지됐고요. 전체 사용이 다 장시간 자율 작업으로 바뀐 것은 아니에요.

변화는 아주 긴 턴에서 나타났어요. 2025년 10월부터 2026년 1월 사이, 길이 순으로 상위 0.1%에 들어가는 경계인 99.9백분위 시간은 25분 미만에서 45분 이상으로 늘었어요. 연구진은 1월 중순 이후에는 이 값이 다소 줄었다고도 설명합니다.

새 모델 출시 때마다 급격히 뛰기보다는 점진적으로 늘었다는 점도 관찰했어요. 가능한 설명에는 사용자의 신뢰 축적, 더 큰 작업을 맡기는 변화, 제품 자체의 개선이 포함됩니다. 연구진도 이 요인들을 따로 분리해 측정하지 못했다고 밝혔어요.

따라서 증가 원인을 사용자 신뢰 하나로 확정하거나, 모델 성능은 더 이상 중요하지 않다고 말할 수는 없어요. 더 빠른 모델은 같은 일을 짧게 끝낼 수도 있으니, 작업 시간이 길다는 것만으로 능력이 높다고 평가하기도 어렵고요.

자동 승인을 늘린 사용자도 중간에 개입했어요

50세션 미만의 신규 사용자는 약 20%의 세션에서 전체 자동 승인 설정을 사용했어요. 사용 경험이 750세션 정도인 집단에서는 40%를 넘었고요. 이 수치는 개별 행동 중 승인된 비율이 아니라, 해당 설정을 사용한 세션의 비율입니다.

한편 작업 중단은 신규 사용자에게서 턴의 약 5%, 경험이 많은 사용자에게서 약 9% 관찰됐어요. 연구진은 이를 행동마다 미리 승인하는 방식에서, 진행을 지켜보다 필요할 때 개입하는 방식으로 바뀌는 징후로 해석했어요.

여기서 확인된 것은 사용 경험과 감독 방식의 관계예요. 중단이 늘었다는 사실만으로 모든 개입이 적절했다거나, 그 방식이 모든 작업에서 더 안전하다고 입증된 것은 아닙니다. 사용자가 맡기는 작업과 설정도 함께 달라질 수 있으니까요.

제게는 승인 횟수를 세는 것과 사용자가 실제로 상황을 파악하는 것을 구분해야 한다는 점이 중요해 보였어요. 승인 버튼을 여러 번 눌러도 내용을 잘 모를 수 있고, 자동으로 진행하게 하더라도 필요한 순간에 방향을 바꿀 수는 있죠.