2026.10.16제312호

30만 달러로 페이블 5급을 만들었다는 팀, 채점표부터 봤어요

정답이 없는 금융·법률 문서에 점수를 매겨 강화학습을 돌린 모델이에요. 자체 평가 수치가 어디까지 성립하는지, 하비 때와 무엇이 달라졌는지 봤어요

비즈니스

GLM을 손봐 페이블 5급이 됐다는 발표가 나왔어요

10월 14일 페이퍼 인스트루먼츠(Paper Instruments)라는 회사가 울트라마린 1 플래시(Ultramarine 1 Flash)를 내놨어요. 금융·법률·컨설팅·운영 부서의 전문 업무, 그러니까 실사 메모나 재무 모델, 이사회 보고서 같은 결과물을 만드는 데 맞춘 모델이에요. 바탕은 중국 Z.ai가 MIT 라이선스로 공개한 오픈웨이트¹ GLM-5.3 Flash이고, 그 위에 대규모 강화학습²으로 사후학습³을 돌렸어요. API는 바로 열었고 가중치는 곧 공개한다고 해요. 앞서 의료용 모델 Kos-1을 냈던 회사예요.

숫자가 먼저 돌았어요. CEO 다니시 카지(Daanish Khazi)는 X에서 다섯 명이 약 30만 달러(모든 비용 포함)로 사후학습했다고 썼고, 회사 페이지는 “페이블급(Fable-class)이면서 60배 싸다”고 적어 뒀어요. 기술 보고서 첫 문단에는 작업당 0.13달러로 클로드 페이블 5(8.19달러)와 GPT-5.6 솔(2.09달러)을 앞섰다는 문장이 있고요.

저는 두 가지를 보려고 해요. 하나는 이 숫자들이 어디까지 성립하는지예요. 비교표에 어떤 모델이 어떤 설정으로 들어갔는지, 채점은 누가 했는지에 따라 ‘넘었다’의 범위가 달라지거든요. 다른 하나는 방법이에요. 코딩은 테스트가 통과하면 보상을 줄 수 있지만, 실사 보고서는 사실관계뿐 아니라 판단이 적절했는지까지 봐야 해요. 그 채점을 어떻게 만들었는지가 이 발표에서 제일 오래 남을 부분이에요. 8월 22일 208호에서 하비(Harvey)를 다루며 업무 환경이 자산이라고 썼는데, 이번엔 그 환경을 사람이 아니라 모델이 만들었다는 점도 같이 볼게요.

6개 중 4개를 이겼고, 표 밖에는 더 비싼 모델과 더 싼 모델이 있어요

보고서가 쓴 지식 작업 벤치마크는 여섯 개예요. 외부 벤치마크 JobBench, FrontierFinance, AutomationBench, APEX-Agents 1.1에 페이퍼 인스트루먼츠가 직접 만든 DiligenceBench와 내부 평가 PI Knowledge Work를 더했어요. 울트라마린은 여섯 개 모두에서 기반 모델 GLM-5.3 Flash보다 높았고, 평균 4.1점 차이였어요. 토큰은 6.5% 덜 썼고요. 사후학습이 효과가 있었다는 가장 단단한 근거는 이 ‘기반 모델 대비’ 줄이에요. 같은 모델, 같은 하네스에서 학습 전후만 다르니까요.

페이블 5와 비교하면 여섯 개 중 네 개에서 앞섰어요. JobBench 62.9 대 57.4, PI Knowledge Work 59.3 대 57.8, FrontierFinance 53.3 대 49.2, AutomationBench 50.2 대 46.2예요. 나머지 둘에서는 졌어요. DiligenceBench 50.6 대 52.9, APEX-Agents 1.1 57.0 대 63.6이고, 두 평가 모두 1위는 제미나이 3.8 플래시예요. 진 두 개 중 하나가 이 회사가 직접 만든 벤치마크라는 점은 적어 둘 만해요. 참고용으로 실린 코딩 벤치마크 두 개(Terminal-Bench 2.1, DeepSWE)에서는 기반 모델보다 1점에서 2점 내려갔어요. 전문 업무 쪽으로 학습을 몰아주면 코딩이 조금 빠진다는 것도 표에 그대로 있어요.

‘60배 싸다’는 PI Knowledge Work 한 곳의 숫자예요. 작업당 비용으로 울트라마린이 0.13달러에 59.3점, 페이블 5가 8.19달러에 57.8점이니 비용 차이는 63배예요. 같은 표에서 클로드 오퍼스 5.5는 6.96달러에 61.9점, GPT-6 솔은 1.26달러에 61.4점으로 울트라마린보다 각각 2.6점, 2.0점 높아요. 여기까지가 보고서 첫 문단이 고른 비교 상대예요.

Ultramarine 1 Flash — Paper InstrumentsUltramarine 1 Flash is an open model for professional work. It makes the decks, models, and memos that people in finance, law, consulting, and operations put in front of clients, at a fraction of the

paperinstruments.com

도표에는 더 있어요. 클로드 페이블 5.1은 8.64달러에 65.5점, GPT-6 아스트라는 5.64달러에 64.2점으로 6점 안팎 위에 있어요. 반대쪽에는 GPT-6 루나가 0.11달러에 58.3점으로, 울트라마린보다 싸면서 1점 낮아요. 회사도 이 점을 숨기지는 않아서, 비교한 39개 실행 가운데 27개가 더 비싸고 점수가 낮다고 썼어요. 뒤집으면 12개는 더 싸거나 더 높다는 뜻이에요. 그리고 모든 모델은 각자 지원하는 가장 높은 추론 설정으로 돌렸어요. 페이블 5의 8.19달러는 최대 추론 설정 값이고, 낮은 설정에서는 1.82달러에 50.8점이에요. ‘60배’는 페이블 5의 가장 비싼 설정과 비교한 숫자예요.

기반 모델 줄도 한 번 더 볼 만해요. GLM-5.3 Flash는 같은 평가에서 0.10달러에 52.0점이에요. 사후학습으로 7.3점을 올리는 데 작업당 3센트가 더 들었어요. API 토큰 단가는 기반 모델과 같다고 했으니, 이 평가에서는 토큰을 조금 더 썼다는 뜻이에요. 보고서가 밝힌 6.5% 절감은 여섯 벤치마크를 합산한 수치고요.

평가 조건도 보셔야 해요. PI Knowledge Work는 이 회사의 자체 하네스 페더(Feather) 위에서 돌고, 채점은 GPT-5.6 테라가 해요. 울트라마린은 바로 그 하네스에서 학습한 모델이에요. 외부 벤치마크는 각자의 공식 하네스를 썼고, 비교 점수 중 일부는 회사가 직접 돌린 값이고 일부는 공개 리더보드에서 가져온 값이에요. 어느 점수가 어느 쪽인지는 보고서의 평가 주석에 벤치마크별로 적혀 있어요. 이 글을 쓰는 16일까지 제가 확인한 외부 기관의 독립 평가는 없어요.

30만 달러와 다섯 명이라는 숫자는 기술 보고서에 없어요. CEO의 X 스레드에서 나온 말이고, GPU 시간이나 학습 기간 같은 내역은 보고서에도 없어요. 보고서에서 확인되는 건 학습 방식이 LoRA⁴ 랭크 64라는 점이에요. 하비의 테넷처럼 기반 가중치는 두고 얇은 보조층만 학습했다는 뜻이라, 비용이 낮은 이유의 일부는 여기 있어요.

정답이 없는 일에 점수를 매기는 법

강화학습은 모델이 과제를 풀고 점수를 받고, 점수가 높았던 행동을 더 하게 만드는 학습이에요. 코딩이 강화학습에 잘 맞았던 이유는 점수를 내기 쉬워서예요. 테스트가 통과하면 1, 아니면 0이에요. 보고서도 지금까지 에이전트 사후학습 연구 대부분이 이런 ‘검증 가능한’ 과제, 그중에서도 코딩에 몰려 있었다고 정리해요.

전문 업무는 그 채점기가 없어요. 실사 메모나 소송 연대표는 정규식이나 단위 테스트로 맞았는지 확인할 수 없고, 답의 품질이 판단과 감각에 달려 있어요. 그래서 페이퍼 인스트루먼츠는 과제마다 채점표를 따로 만들었어요. 보고서가 쓰는 말로는 루브릭⁵이에요.

여기서 제가 오래 읽은 대목은 채점 항목 하나를 어떻게 써야 하느냐는 설명이에요. 보고서는 항목 하나가 가능한 답들 위에 경계선을 긋는다고 표현해요. 정답지 하나를 베낀 항목은 다른 방식의 맞는 답을 떨어뜨리고, ‘적절한 권고를 제시한다’처럼 두루뭉술한 항목은 그럴듯한 오답에도 점수를 줘요. 그 사이에서 항목은 점수를 받을 실질적인 조건을, 그걸 확인하는 데 필요한 사실·기준·맥락과 함께 적어야 해요.

예시로 실린 과제가 이해를 도와요. 가상의 거래 ‘프로젝트 오로라’에서 이사회 사전 자료의 예측·공시 부분을 새 경영진 예측(v7)으로 고치는 일이에요. 채점 항목 13번은 이렇게 돼 있어요. ‘이사회가 지금 승인할 수 있는 것(v7을 유일한 예측·가치평가 기준으로 삼는 것과 로드쇼에서 쓸 정성적 입장)과, 아직 법률 자문의 승인이 필요한 것(외부 문구와 다음 공시 차례의 예측표)을 구분하는가.’ 같은 뜻을 ‘유일한 예측 기준이라는 문구를 쓰고 승인 요청을 먼저 제시한다’로 쓰면 맞는 답 두 개가 떨어지고, ‘이사회에 유용한 예측 업데이트를 제공한다’로 쓰면 불완전한 답 세 개가 붙어요. 항목에는 감점도 있어요. 법률 자문 승인 없이 v7 수치를 투자자 설명에 바로 쓰도록 승인하면 50점이 깎이고, 옛 v5 기준의 배수를 현재 값처럼 쓰면 25점이 깎여요. 무엇을 하면 안 되는지까지 채점표에 들어가 있는 거예요.

항목마다 충족·미충족을 판정하고 가중치를 곱해 합친 값이 보상이 돼요. 판정은 모델이 해요. 회사가 공개한 루브릭 라이브러리와, 사람 전문가의 판정과 일치하도록 조정했다는 채점 프롬프트를 쓴다고 밝혔어요. 166호에서 코드로 검사할 때와 모델에게 평가를 맡길 때 확인할 수 있는 게 다르다고 썼는데, 이 회사는 두 번째 길을 학습 규모로 키운 셈이에요. 그러려면 모델 채점의 자의성을 항목 설계로 눌러야 하고, 위의 경계선 이야기가 그 답이에요.

과제는 어디서 왔을까요. 보고서는 세 가지를 검토했다고 해요. 실제 사용자의 작업 기록, 전문가가 직접 쓴 과제, 합성 과제예요. 사용자 기록은 암묵적 가정이 섞여 있어서 버렸어요. ‘상위 10개 의료기기 회사의 마진’을 물은 사용자는 매출 기준 상위 10개를 뜻했을 수 있는데, 그 기록으로 과제를 만들면 시가총액이나 이익 기준으로 고른 맞는 답이 감점돼요. 전문가 작성은 모호함은 없지만 폭과 채점 품질을 사람 손으로 유지하는 비용이 크고, 좁은 과제는 여전히 맞는 답을 배제한다고 봤어요. 그래서 전부 합성으로 갔어요.

규모는 이래요. 금융·법률·컨설팅·운영 네 분야, 19개 실무 영역, 88종의 환경 유형이에요. 금융만 34종인데 M&A 딜룸, IPO 실행실, 챕터 11 채무자실, 데이터센터 프로젝트 파이낸스실 같은 식이에요. 환경에는 SEC 공시(10-K, 8-K, 신용계약서 같은 첨부물)와 공개 웹 자료를 실제로 가져오고, 계약서나 내부 이메일은 씨앗 데이터로 합성해요. CRM·ERP·창고관리·공정제어 같은 업무 시스템도 가짜로 띄워 두고 MCP로 연결해요. 실무 영역마다 결과물 형식, 복잡성의 원천, 이해관계자, 자료 간 충돌, 거래 단계 같은 축을 조합하면 영역당 경우의 수가 1천만에서 100억 가지가 나온다고 해요. 그렇게 만든 과제 하나를 완성하는 데 수십 개의 에이전트 루프와 여러 차례의 검토가 들어가요. 근거가 있는지, 실무답게 현실적인지, 난이도가 맞는지, 지시와 채점 기준이 어긋나지 않는지를 보고, 답이 새는지와 모델이 꼼수로 점수를 따는지를 거르는 분류기도 따로 둬요. 마지막으로 기반 모델의 성적을 기준으로 너무 쉬운 과제를 걸러요.

결과물은 실제 엑셀·파워포인트·워드 파일이에요. 모델이 python-docx 같은 라이브러리로 문서를 고치다 보면 파일을 조용히 망가뜨리는 일이 흔해서, 회사는 그 라이브러리를 포크해 안전하지 않은 조작을 거부하는 버전을 만들어 학습에 썼어요. 채점할 때는 그 파일을 텍스트로 풀어 채점 모델에 넘겨요.

시스템 프롬프트는 세 문장이었어요

학습과 평가에 쓴 하네스⁶ 페더도 볼 만해요. 회사는 클로드 코드, 코덱스, 커서, 키미 코드, 오픈코드, 오픈핸즈, 큐원 코드 같은 코딩 하네스의 도구 규약을 조사해 공통 관례 위에 파이썬 하네스를 새로 만들었어요. 여러 하네스를 동시에 쓰는 학습은 예산 밖이라, 어느 하네스로 옮겨도 전이가 잘되게 ‘평균적인’ 하네스를 겨냥한 거예요. 도구는 read·edit·write·grep·glob, bash와 백그라운드 작업, 할 일 목록이 전부예요.

눈에 띄는 선택은 지시문을 걷어낸 거예요. 학습 중 시스템 프롬프트는 세 문장, 약 50토큰이에요. 리눅스 샌드박스에서 주어진 도구와 작업 공간으로 일하라, 비밀 정보를 노출하지 마라, 결과 파일은 지정된 경로에 두라. 비교 대상으로 든 실제 하네스들의 기본 시스템 프롬프트는 1,800토큰에서 4,400토큰 사이예요. 도구 설명도 ‘언제 어떻게 쓰라’가 아니라 ‘무엇을 하고 무엇을 보장하는지’만 적었고, 계획·검증 절차도 빼 두었어요. 이유는 분명해요. 지시가 많은 프롬프트는 평가 점수는 올리지만 모델의 탐색을 묶어 두고, 특정 작업 방식을 학습 전에 고정해 버려요. 실제 서비스용 프롬프트는 학습 마지막 단계에서만 넣었어요.

보상에는 길이 벌점도 있어요. 생성 토큰이 허용치를 넘거나 턴이 많아지면 깎고, 잘못된 도구 호출도 깎아요. 토큰을 6.5% 덜 쓰게 된 건 이 벌점의 결과예요. 이미지는 학습하지 않았고, 모델이 이미지를 읽으려 하면 ‘이 환경에서는 비전을 쓸 수 없다’는 텍스트만 돌려줘요.

하비 때와 달라진 것

두 달 전 208호에서 본 하비의 테넷과 나란히 놓으면 차이가 보여요. 하비는 Kimi K3를 바탕으로 두 달 동안 B300 약 150장을 돌렸고, 변호사가 실제로 받는 일을 본뜬 1,750개 환경과 변호사들이 쓴 7만 5,000개 채점 항목을 썼어요. 그 변호사들은 머서와 스노클을 통해 고용했고요. 저는 그때 모델은 소모품이고 업무 환경이 자본재라고 썼어요.

페이퍼 인스트루먼츠는 그 자본재를 사람 손으로 만들지 않았어요. 하비도 고객 데이터는 쓰지 않았다고 못 박았지만 변호사를 고용해 과제와 채점 항목을 쓰게 했고, 페이퍼 인스트루먼츠는 그 단계까지 모델에 맡겼어요. 전문가 작성 과제를 비용 때문에 배제했고, 88종 환경을 생성 파이프라인으로 찍어냈어요. 두 회사의 비용 주장은 벤치마크가 달라서 바로 비교할 수 없어요. 하비는 주요 프런티어 모델의 4분의 1 이하라고 했고, 페이퍼 인스트루먼츠는 자체 평가에서 60분의 1이라고 했을 뿐이에요.

같은 점도 있어요. 둘 다 중국 오픈웨이트 위에 LoRA로 얇게 학습했고, 둘 다 토큰을 덜 쓰는 쪽에 보상을 줬고, 둘 다 자기 벤치마크로 자기 모델을 평가했어요. 그리고 둘 다 가장 어려운 일은 여전히 프런티어 모델에 남겨 뒀어요. 울트라마린의 표에서도 페이블 5.1과 GPT-6 아스트라는 6점 위에 있어요.

오스왈드의 시선

제 일에서 이 발표가 걸리는 지점은 두 군데예요.

하나는 폐쇄망이에요. 기업에 납품하거나 AI 도입을 설계할 때 저는 ‘모델은 항상 상향된다’는 전제로 준비해요. 공공기관 폐쇄망을 세팅할 때도 지금 모델이 아니라 6개월에서 12개월 뒤에 나올 오픈웨이트의 대략적인 수준을 기대하며 프로젝트를 짜요. 울트라마린은 이 전제에 변수를 하나 더해요. 다음 오픈웨이트를 기다리는 대신, 지금 있는 오픈웨이트를 한 업무에 맞춰 끌어올리는 비용이 어디까지 내려왔느냐예요. 회사 주장대로 30만 달러라면 폐쇄망 프로젝트 하나의 예산 안에서 검토 대상이 되는 숫자예요. 다만 그 돈은 학습 비용이고, 전체 파라미터 3,200억 개짜리 기반 모델을 망 안에 올리는 장비는 따로예요. 178호에서 봤듯이 메모리는 활성 파라미터⁷가 아니라 전체 파라미터를 따라가거든요.

다른 하나는 제가 이미 쓰는 분업이에요. 전체 계획과 오케스트레이션, 처음 설계도는 Claude나 GPT-6에 맡기고, 오래 걸리고 반복이 많은 일은 DeepSeek이나 GLM으로 넘긴 지 꽤 됐어요. Ollama Cloud로 조 단위 토큰을 써도 Claude나 GPT-6보다 훨씬 싸고, Skill.md나 soul.md 같은 하네스 파일을 잘 세팅해 두면 결과도 쓸 만하다고 봐요. 그러니 GLM 위에 올린 전문 업무 모델이라는 발표가 저한테는 낯선 조합이 아니에요. 다만 페이퍼 인스트루먼츠는 학습 중에 그 하네스 지시문을 50토큰으로 걷어냈어요. 제가 쓸 때 얹는 지시와 그들이 학습 때 뺀 지시는 같은 물건인데 시점이 달라요. 가중치가 풀리면 제 하네스 파일을 그대로 얹었을 때와 뺐을 때 결과가 어떻게 다른지가 먼저 궁금해요.

ultramarine-300k-scorecard 늘 하는 말이지만 모든 사람, 모든 일에 초지능이 필요한 건 아니에요. 일과 환경에 맞는 모델이 따로 있어요. 208호에서 저는 모델은 소모품이고 업무 환경이 자본재라고 썼는데, 이번 발표는 그 환경마저 모델이 찍어낼 수 있다는 쪽으로 한 칸 더 갔어요. 그러면 남는 자산은 환경 자체보다 환경을 찍어내는 분류 체계와, 채점 항목을 경계선으로 쓰는 솜씨, 학습 중에 걸린 꼼수를 막는 필터예요. 보고서는 가중치와 학습 코드를 공개한다고 했지만 88종 환경을 만드는 파이프라인을 공개한다는 말은 없어요. 한국 쪽 질문도 같이 바뀌어요. 하비 때는 한국 업무를 1,750개 환경으로 적어 둔 곳이 있느냐를 물었는데, 이제는 SEC 공시 대신 DART 공시를 씨앗으로 넣고 한국 로펌과 회계법인이 보는 문서 관행을 채점 항목으로 적을 사람이 누구냐로 바뀌어요.

마치며

울트라마린이 보여 준 건 두 가지예요. 정답이 없는 문서 업무도 채점 항목을 경계선으로 쓰면 강화학습의 보상으로 바꿀 수 있다는 것, 그리고 그 일을 다섯 명이 30만 달러로 했다고 주장한다는 것이에요. 앞의 것은 보고서에 방법이 적혀 있고, 뒤의 것은 가중치가 풀리고 다른 하네스에서 다른 사람이 돌린 숫자가 나와야 확인돼요. 그때까지 ‘페이블 5를 넘었다’는 말은 회사 벤치마크에서, 가장 비싼 설정의 페이블 5를, 여섯 개 중 네 개에서 넘었다는 뜻으로 읽는 게 맞아요.

💬 구독자님은 점수가 비슷하고 가격이 60분의 1인 모델이 있다면 바꾸시겠어요? 바꾸지 않는다면 무엇이 더 확인돼야 하는지 댓글로 들려주세요.

📨 오픈웨이트 모델을 업무용으로 검토하는 동료가 있다면 이 글을 전해 주세요.

여러분의 생각이 다음 호를 만듭니다

이번 호에서 가장 공감했거나, 다른 경험을 한 지점은 무엇인가요?

커피 한 잔 보내기

이 관점이 좋았다면, 다음 글에 커피 한 잔

오스왈드에게 커피와 함께 짧은 쪽지를 보내주세요. 응원은 다음 취재와 집필에 보탭니다.

참고자료 & 더 읽기

핵심 출처

Paper Instruments, “Ultramarine 1 Flash: Scaling Non-Verifiable RL”, 2026.10.14. ··· 이 글의 1차 자료예요. 루브릭 설계, 88종 환경, 페더 하네스, 학습 설정(LoRA 랭크 64), 벤치마크 표와 평가 주석, 프로젝트 오로라 예시가 모두 여기 있어요.
Paper Instruments, “Ultramarine 1 Flash” 제품 페이지. ··· “Fable-class”, “60x cheaper” 문구와 API 가격(입력 0.15달러, 캐시 입력 0.03달러, 출력 0.50달러, 100만 토큰당), 비용 대비 점수 도표의 출처예요.
Z.ai, “GLM-5.3-Flash” 모델 카드, Hugging Face. ··· 전체 3,200억·활성 180억 파라미터, MIT 라이선스, 네이티브 멀티모달이라는 기반 모델 정보의 출처예요.
Runtime Wire, “Paper Instruments launches Ultramarine 1 Flash for professional work”, 2026.10. ··· CEO 다니시 카지의 X 스레드를 정리한 기사예요. 다섯 명, 약 30만 달러, 가중치 2주 뒤 공개라는 말의 출처예요.

함께 읽으면 좋은 지난 호

OpenAI가 투자한 법률 AI 하비, 바탕은 중국 오픈웨이트 (제208호) ··· 오늘 글의 전편이에요. 변호사가 쓴 7만 5,000개 채점 항목과 1,750개 환경으로 두 달 만에 모델을 만든 하비 이야기예요.
AI 결과를 검증할 때 나눠 봐야 할 두 가지 검사 (제166호) ··· 코드로 검사할 때와 모델에게 평가를 맡길 때 확인할 수 있는 것이 어떻게 다른지 정리한 호예요.
가중치는 공개됐는데 개인은 못 돌리는 오픈 웨이트 (제178호) ··· MoE 모델의 메모리 요구량이 왜 전체 파라미터를 따라가는지 숫자로 본 호예요.

필자 안광섭 (오스왈드)은 세종대학교 겸임교수, INLEVEL9 전략 컨설턴트입니다. 경력, 연구, 저서와 최신 활동은 저자 소개에서 계속 갱신합니다. 최근 소식 · 2026년 8월: 2026 세종도서 교양부문 우수도서 선정.

📝 용어 설명

각주

오픈웨이트(open weights): 모델의 학습 결과물인 가중치 파일을 누구나 내려받아 자기 서버에서 돌리고 수정할 수 있게 공개하는 방식이에요. GLM-5.3 Flash는 MIT 라이선스라 상업적 수정·재배포도 허용돼요. ↩
강화학습(reinforcement learning): 모델이 과제를 수행하고 그 결과에 점수(보상)를 받으면, 점수가 높았던 행동을 더 자주 하도록 가중치를 고치는 학습 방식이에요. 코딩처럼 자동으로 채점할 수 있는 과제에서 먼저 성과를 냈어요. ↩
사후학습(post-training): 이미 만들어진 모델에 특정 분야의 데이터와 보상을 추가로 학습시켜 용도에 맞게 다듬는 과정이에요. 처음부터 모델을 만드는 사전학습과 구분돼요. ↩
LoRA(Low-Rank Adaptation): 원래 모델의 가중치는 건드리지 않고 옆에 얇은 보조 층을 붙여 그 층만 학습시키는 방법이에요. 랭크는 그 보조 층의 크기를 정하는 값이고, 비용이 적게 드는 대신 바탕 모델의 성질이 대부분 그대로 남아요. ↩
루브릭(rubric): 결과물을 평가할 때 쓰는 항목별 채점표예요. 항목마다 충족 여부와 배점이 있고, 이번 모델에서는 이 채점표의 점수가 강화학습의 보상이 돼요. ↩
하네스(harness): 모델을 실제로 일하게 만드는 바깥 틀이에요. 어떤 도구를 쓸 수 있는지, 도구 호출 결과를 어떻게 돌려주는지, 긴 작업에서 문맥을 어떻게 줄이는지 같은 규칙을 담아요. 클로드 코드나 코덱스 같은 코딩 에이전트가 대표적인 하네스예요. ↩
활성 파라미터(active parameters): 전문가 혼합(MoE) 구조의 모델이 토큰 하나를 처리할 때 실제 계산에 쓰는 파라미터 수예요. GLM-5.3 Flash는 전체 3,200억 개 중 180억 개만 계산에 참여하지만, 어떤 전문가가 호출될지 몰라 전체를 메모리에 올려 둬야 해요. ↩