제 노트북이 생각만 하다 멈췄어요

노트북에서 답은 오지 않고 생각 중 표시만 계속됐어요

지난 주말에 노트북에 오픈 모델 하나를 내려받았어요. 지난 14일 알리바바가 공개한 Qwen 3.8 27B인데요. 파일 크기가 17GB예요. 요즘 게임 하나보다 작은 용량으로 코딩하고 이미지 보고 도구까지 부르는 모델이 돌아간다는 게 신기해서 바로 받아봤어요.

그런데 질문을 던지고 한참을 기다렸는데 답이 안 왔어요. 화면에는 생각 중이라는 표시만 계속 돌았고요. gguf로 돌려도, 맥용 mlx로 돌려도 같았어요. 죽었다고 해야 할지 타임아웃이 났다고 해야 할지 애매한 상태로 멈춰 있더라고요.

원인을 찾아보니 모델이 고장 난 게 아니었어요. 기본 설정이 개인 노트북 환경에 맞춰져 있지 않았던 것이 문제였어요. 그래서 이 모델의 기본값이 어떤 조건을 기준으로 정해졌는지 살펴봤어요.

---

원 하나를 요청했더니 애니메이션 도형이 나왔어요

저만 겪은 일은 아니었어요.

개발자 사이먼 윌리슨이 16일에 같은 모델을 두 대의 기기에서 돌려본 기록을 공개했어요. 128GB 맥북 프로와 엔비디아 DGX 스파크, 둘 다 17GB짜리 4비트 양자화¹ 빌드였고요.

그가 처음 던진 프롬프트는 자전거 탄 펠리컨을 SVG로 그려달라는 것이었어요. 결과물은 그가 로컬 모델에서 뽑아본 것 중 최고였다고 해요. 자전거 프레임 모양이 정확했고, 다리가 양쪽에 하나씩 붙었고, 날개가 핸들까지 닿았고요.

문제는 그 결과가 나오기까지 21분이 걸렸다는 거예요. 추론에 22,276토큰을 쓰고 출력은 3,223토큰이었어요. 추론에 쓴 토큰이 출력의 약 일곱 배였어요. 같은 프롬프트를 추론 없이 돌리니 137초 만에 끝났고요. 품질은 떨어졌지만 21분어치는 아니었다는 게 그의 평가였어요.

더 인상적인 건 다음 실험이었어요. 그가 이번엔 아주 단순하게 요청했어요. 원 하나를 SVG로 그려달라고요. 모델의 생각 기록은 이렇게 시작해요.

단순한 요청이지만 정성껏 만든 작품으로 가고 싶다. 단순한 원 태그를 넘어서는 무언가를, 기하학 습작 같은 성격에 미묘한 애니메이션과 겹겹의 링, 독특한 색조를 담아보자.

몇 분 뒤에 나온 건 동심원 가이드선과 눈금, 그라디언트, 천천히 회전하는 점선 링이 들어간 애니메이션 도형이었어요. 보기에는 좋았지만 요청한 건 원 하나였죠.

같은 성향은 코드를 짤 때도 나왔어요. 그가 사진 위에 좌표 상자를 그려주는 간단한 웹 도구를 만들어달라고 하자, 모델은 요청에 없던 기능들을 스스로 붙였어요. 테스트할 사진이 없는 사용자를 위해 직접 그림을 그려 넣는 예시 화면까지 만들어뒀거든요. 생각 기록을 보면 “자체 완결적이고 시연 가능하니 재미있겠다”는 대목이 나와요. 요청에 없던 작업을 모델이 스스로 더한 거예요.

제가 겪은 멈춤도 같은 지점과 관련이 있어요. 윌리슨은 LM Studio의 기본 컨텍스트 한도인 8,192토큰에서 곧바로 막혔다고 적었어요. 아주 사소한 질문에도 모델이 그 한도를 추론 과정만으로 전부 써버렸거든요. 한도를 262,144토큰으로 올리자 그 문제는 사라졌고요. 모델이 답을 못 만든 게 아니라, 컨텍스트 한도를 추론에 다 써서 답을 담을 공간이 남지 않았던 거예요.

---