2026.10.12제304호

솔라 42점과 미스트랄 38점은 다른 자로 잰 숫자예요

Mistral Large 4가 나온 날, '솔라가 더 좋은데'라는 말을 같은 자 위에 다시 올려봤어요

비즈니스

1조 파라미터 모델이 나온 날, 엉뚱한 비교가 따라왔어요

구독자님, 최근 프랑스 미스트랄 AI가 Mistral Large 4의 퍼블릭 프리뷰를 공개했어요. 전체 파라미터는 1조 개, 그중 한 번에 실제로 계산에 참여하는 활성 파라미터¹는 490억 개예요. 처음부터 텍스트와 이미지를 함께 다루도록 만든 모델이고, API는 오늘 열렸고, 가중치는 이달 말에 공개한다고 해요. 미스트랄은 공식 블로그에서 이 모델을 ‘le Chonk’라는 별명으로 소개해요. 우리말로 옮기면 ‘덩치’ 정도인데, 크기를 보면 엄살은 아니에요.

이 소식과 함께 국내에서는 볼멘소리도 들려요. 업스테이지의 솔라 프로 4가 더 좋은 모델인데 시장에서 공정한 평가를 못 받고 있다는 거예요. 솔라는 업스테이지가 만드는 한국 독자 모델 계열이죠.

숫자만 나란히 놓으면 그럴듯해 보이기도 해요. 독립 평가 기관 Artificial Analysis의 지능 지수²에서 솔라 프로 4는 8월에 42점을 받았고, Mistral Large 4는 오늘 38점을 받았거든요. 그런데 이 두 숫자는 같은 자로 잰 게 아니에요. 오늘은 자가 언제 바뀌었는지부터 보고, 자를 맞춘 뒤에도 ‘공정한 평가’라는 말에서 무엇이 남는지 따져볼게요.

9월 7일, 자가 바뀌었어요

Artificial Analysis는 9월 7일 지능 지수를 v4.3으로 개정했어요. 열 가지 시험을 묶어 하나의 점수를 내는 방식은 그대로인데, 구성이 달라졌어요. 여러 단계에 걸친 도구 사용을 보던 τ³-Banking이 빠지고, Zapier와 함께 만든 657개짜리 업무 자동화 시험 AutomationBench-AA가 들어왔어요. 터미널 작업 시험은 Terminal-Bench v2.1에서 v4.0으로 바뀌었고요. 기관은 이번 개정으로 에이전트 코딩 과제를 더 어렵게 만들고, 시간과 연산 한도, 채점 방식을 다시 맞췄다고 설명해요. 문제를 공개하지 않는 시험의 비중도 40%에서 45%로 늘렸어요. 문제를 미리 보고 맞춰 학습하기 어렵게 하려는 거예요.

시험이 어려워지면 같은 모델도 점수가 내려가요. 저희도 이 변화를 피해 가지 못했어요. 8월 5일 제178호에서 GLM-5.2를 51점이라고 적었는데, 지금 Artificial Analysis 페이지에서 GLM-5.2(max)는 34점으로 나와요. 모델이 두 달 사이에 나빠진 게 아니라 자의 눈금이 바뀐 거예요.

솔라 프로 4도 마찬가지예요. 42점은 8월 12일, 개정 전 지수로 받은 점수예요. 같은 기관 페이지에 지금 표시된 값은 28점이에요. Mistral Large 4의 38점은 개정 이후 버전인 v4.3.2로 잰 점수고요. 지금 같은 자 위에 올리면 순서는 오히려 반대가 돼요. 참고로 38점은 오픈웨이트³ 진영의 딥시크 V4.1 Flash(39점)와 비슷한 자리예요.

다만 28점에는 별표가 붙어 있어요

여기서 이야기를 끝내면 솔라 쪽에 공정하지 않아요. 지금 페이지의 28점 옆에는 별표가 있고, 추정치이며 독립 평가는 곧 나온다는 설명이 달려 있어요. 개정된 시험으로 솔라 프로 4를 직접 다시 돌린 결과는 아직 없다는 뜻이에요. 같은 표에서 Solar Mini 4의 24점은 별표 없이 표시돼 있고요.

업스테이지가 솔라 프로 4를 소개하며 가장 크게 내세운 개선은 세 가지였어요. 터미널 작업(Terminal-Bench v2.1)이 12점에서 57점으로, 여러 단계의 도구 사용(τ³-Banking)이 9점에서 23점으로, 긴 문서 추론(AA-LCR)이 31점에서 71점으로 올랐다고요. 이 가운데 앞의 두 시험이 9월 개정에서 빠지거나 다른 버전으로 바뀌었어요. 가장 크게 오른 성적이 실린 과목이 시험지에서 바뀐 셈이에요. 새 시험에서도 그만큼 잘할지는 다시 재봐야 알 수 있어요.

솔라 프로 4의 설계에서 눈여겨볼 대목이 하나 더 있어요. 업스테이지는 이 모델이 근거가 없으면 답을 지어내는 대신 확인할 수 없다고 말하도록 만들었다고 설명해요. Artificial Analysis도 8월 평가에서 솔라 프로 4의 지식 신뢰도 점수가 크게 오른 걸 확인했는데, 그 상승이 아는 것이 늘어서라기보다 모를 때 답을 삼간 데서 나왔다고 짚었어요. 두 설명은 부딪치지 않아요. 계약서 검토처럼 틀린 숫자 하나가 다음 단계로 번지는 일에서는 바로 그 성질이 쓸모예요. 다만 ‘더 많이 안다’는 근거로 쓰기는 어렵다는 거죠.

그러니 솔라 쪽이 요구할 수 있는 건 분명히 있어요. 같은 자로 다시 재 달라는 거예요. 그건 ‘42점인데 왜 몰라주냐’와는 다른 요구예요.

리더보드 밖에서는 시험지를 맡겼어요

리더보드 밖에서는 다른 종류의 평가가 이미 나왔어요. 서울경제는 10월 5일, 업스테이지가 한국교육과정평가원의 ‘AI 기반 수능 영어 자동 문항 생성 기능 개발 사업’ 1순위 사업자로 선정됐다고 단독 보도했어요. 입찰에는 13개 업체가 참여했고, 평가원은 종합 점수의 90%를 기술평가에 배정했어요. 가격보다 기술로 갈린 심사였다는 거예요. 정식 계약은 아직 앞두고 있고, 목표 개발 시점은 내년 5월이에요. 계획대로 되면 이르면 내년 수능 출제 과정에 쓰일 수 있다고 해요.

단독 업스테이지, 수능 영어문제 AI 출제 맡는다[단독] 업스테이지, 수능 영어문제 AI 출제 맡는다

sedaily.com

이 사업에서 AI가 맡는 일은 시험을 푸는 쪽이 아니라 내는 쪽이에요. 성취기준, 문항 유형, 어휘 수준과 소재를 정해 주면 지문과 선택지, 정답과 해설을 만들고, 과거 수험생 데이터로 새 문항의 예상 정답률과 등급별 비율까지 계산하는 구조예요. 문항 생성, 검증, 유사도·표절 검사, 난이도 예측을 나눠 맡은 에이전트들이 서로 결과를 주고받으며 문항을 다듬는다고 해요. 평가원은 제안 단계부터 수능 전 영역으로 넓힐 수 있게 설계하라고 요구했고요.

벤치마크 시험지로 채점받던 모델 회사가 국가 시험의 출제 공정을 짓게 된 셈이에요. 지능 지수는 이 모델이 몇 점짜리인지 묻지만, 평가원은 수능 영어 문항을 만들고 검증하는 일을 이 조건에서 해낼 수 있느냐를 물었어요. 업계에서는 자체 모델 솔라를 개발해 온 기술력이 선정에 영향을 줬다고 본다고 해요. 다만 보도에는 이 시스템에 솔라의 어느 모델이 들어가는지까지는 나오지 않아요.

미스트랄이 내세운 건 점수 너머에 있어요

반대로 Mistral Large 4를 지능 지수 한 줄로만 읽어도 놓치는 게 많아요. 미스트랄이 발표문에서 공들여 설명한 건 점수보다 어디서, 누가 이 모델을 돌리느냐였어요.

이 모델은 미스트랄이 유럽에서 직접 운영하는 데이터센터의 엔비디아 Grace Blackwell GPU 3,800개로 처음부터 학습했고, 프리뷰도 같은 인프라에서 서비스해요. 유럽 배포는 다른 디지털 서비스 사업자에 기대지 않고 유럽 법 아래에서 처음부터 끝까지 직접 운영한다고 밝혔어요. 학습 데이터에는 EU 공식 언어 전부를 포함해 160개가 넘는 언어가 들어갔고요. 미스트랄의 표현으로는 미국과 유럽에서 나온 오픈웨이트 모델 가운데서는 크게 앞서고, 세계 최상위 오픈 모델과는 겨룰 만한 수준이에요. 가중치를 공개해 고객이 자기 서버에 직접 올릴 수 있게 하겠다는 약속까지 합치면, 미스트랄이 파는 건 ‘유럽 안에서 끝나는 AI’예요.

사이버보안 성적도 같은 맥락에서 읽혀요. 실제 오픈소스 소프트웨어의 취약점을 재현하고 패치까지 하는 시험에서 82%로 전체 모델 중 1위를 했고, 보안 대회 문제 40개로 구성된 Cybench에서는 93%를 풀었다고 해요. 그런데 미스트랄 스스로 덧붙인 설명이 있어요. Claude Opus 5.5나 GPT-6 Astra 같은 주요 폐쇄형 모델이 이 재현·패치 시험에서 0점에 가까운 이유는 과제 수행을 거절하기 때문이라는 거예요. 이 1위에는 능력 차이와 함께 거절 정책의 차이가 섞여 있어요.

미스트랄은 바로 그 지점을 판매 논리로 써요. 방어하는 쪽도 결함이 진짜인지 증명하는 작업부터 해야 하는데, 사고 대응 도중에 공급자 정책 때문에 기능이 막히면 그것 자체가 보안 위험이 된다는 거죠. 동시에 악성 사이버 요청에 대한 거절률은 다른 오픈 모델들보다 높다고 함께 밝혔어요. 할 수 있는 일과 거절할 일을 공급자가 아니라 쓰는 조직의 정책으로 가르겠다는 제안이에요.

비용 쪽 숫자는 덜 화려해요. 입력 100만 토큰당 1.36달러, 출력 100만 토큰당 4.18달러이고, Artificial Analysis 기준으로 지수 과제 하나를 푸는 데 평균 1.13달러가 들었어요. 한 보도에 따르면 지수 전체를 푸는 동안 약 2억 개의 출력 토큰을 썼는데, 비슷한 모델들의 중앙값은 8,100만 개였어요. 같은 일을 하면서 말이 많은 편이라는 뜻이에요.

solar mistral two rulers 미스트랄은 이 모델이 아직 학습 중이라고도 밝혔어요. GPU 3,000개로 돌리는 강화학습⁴이 하루 330억 토큰을 만들고, 거르고 나면 160억 토큰이 학습에 쓰이는데, 아직 성능이 포화되는 기미가 없다는 거예요. 30억 유로 규모의 시리즈 D 자금으로 유럽 안의 연산도 늘리고 있고요. 오늘의 38점은 프리뷰 단계에서 찍은 사진 한 장이에요.

오스왈드의 시선

저는 기업 납품이나 AI 도입 컨설팅을 설계할 때 ‘모델은 항상 상향된다’는 전제로 준비해요. 공공기관의 폐쇄망⁵을 세팅할 때도 그래요. 지금 나와 있는 모델이 아니라 6개월에서 12개월 뒤에 나올 오픈웨이트 모델이 대략 어느 수준일지를 기대하고 프로젝트를 설계해요.

그리고 제가 늘 하는 말이 있어요. 모든 사람, 모든 일에 초지능이 필요한 건 아니에요. 일과 환경에 맞는 모델이 따로 있어요.

이 기준으로 보면 ‘솔라가 더 좋은데 왜’라는 질문은 비교의 칸이 어긋나 있어요. 폐쇄망 프로젝트에서 먼저 확인하는 건 리더보드의 4점이 아니라 가중치를 망 안으로 들일 수 있는지, 라이선스가 무엇을 허락하는지, 우리 문서와 우리 언어로 일을 끝내는지예요. 솔라 프로 4는 API로 쓰는 상용 모델이고, 온프레미스 배포는 별도 문의로 안내해요. 업스테이지의 오픈웨이트 계열은 Solar Open 2로 따로 있어요. Mistral Large 4와 같은 칸에 놓고 비교할 상대는 지금으로선 솔라 프로 4보다 Solar Open 2 쪽이에요.

그래서 저는 한국 모델이 덜 평가받는다는 말보다, 어떤 일에 어떤 조건으로 쓰면 어디까지 되는지를 보여주는 쪽이 평가를 바꾼다고 봐요. 평가원 사업이 그런 사례예요. 리더보드의 4점이 아니라 수능 영어 문항을 만들고 검증한다는 구체적인 과제 앞에서 기술 점수를 받았으니까요.

업스테이지가 공개한 한국어 법률·의료·사무 점수는 그 재료가 될 수 있어요. 다만 이 점수들은 업스테이지 내부 환경에서 잰 값이에요. 같은 시험을 다른 사람이 다시 돌렸을 때도 버틴다면, 그때는 볼멘소리 없이도 숫자가 대신 말해줄 거예요.

마치며

리더보드의 숫자에는 날짜와 버전이 붙어 있어요. 두 모델을 견주는 문장을 볼 때 그 두 가지가 같은지, 그리고 그 숫자가 직접 잰 값인지 추정치인지만 확인해도 오늘 같은 오해는 대부분 걸러져요.

💬 리더보드 순위와 직접 써본 느낌이 달랐던 모델이 있었나요? 어떤 모델이었는지 한 줄로 남겨주세요.

📨 사내에서 모델 비교표를 만드는 동료가 있다면 이 글을 전해 주세요.

여러분의 생각이 다음 호를 만듭니다

이번 호에서 가장 공감했거나, 다른 경험을 한 지점은 무엇인가요?

커피 한 잔 보내기

이 관점이 좋았다면, 다음 글에 커피 한 잔

오스왈드에게 커피와 함께 짧은 쪽지를 보내주세요. 응원은 다음 취재와 집필에 보탭니다.

참고자료 & 더 읽기

핵심 출처

Mistral AI, “Introducing Mistral Large 4”, 2026. 10. 6. ··· 파라미터 구성, 학습 인프라, 사이버보안 점수와 폐쇄형 모델의 거절 설명, 가격, 강화학습 규모가 모두 이 발표문에서 나왔어요.
Artificial Analysis, “Announcing the Artificial Analysis Intelligence Index v4.3”, 2026. 9. ··· 9월 개정에서 무엇이 빠지고 들어왔는지, 비공개 시험 비중이 어떻게 바뀌었는지 확인할 수 있어요.
Artificial Analysis, “Solar Pro 4 모델 페이지”, 2026. 10. 6. 확인. ··· 28점이 추정치라는 표시와 v4.3.2 기준 설명이 있어요.
Artificial Analysis, “Upstage 제공 모델 비교”, 2026. 10. 6. 확인. ··· Solar Pro 4, Solar Mini 4, Solar Pro 3를 같은 표에서 볼 수 있어요.
Artificial Analysis, “Upstage Solar Pro 4: Benchmarks and analysis”, 2026. 8. ··· 개정 전 지수의 42점과, 지식 신뢰도 상승이 답을 삼간 데서 나왔다는 분석의 출처예요.
업스테이지, “Solar Pro 4: 실무를 끝까지 해내는 에이전트 모델”, 2026. 8. 11. ··· 세 가지 개선 수치, 근거 없는 답을 피하는 설계, Solar Open 2와의 역할 구분, 내부 평가 표가 실려 있어요.
류석, “[단독] 업스테이지, 수능 영어문제 AI 출제 맡는다”, 서울경제, 2026. 10. 5. ··· 평가원 사업의 1순위 선정, 13개 업체 입찰, 기술평가 90%, 멀티 에이전트 출제 구조의 출처예요. 단독 보도라 평가원 공식 발표는 아직 확인하지 못했어요.

배경 지식

Artificial Analysis, “DeepSeek V4.1 Flash 릴리스 페이지”, 2026. 9. ··· 38점과 비교한 39점의 출처예요.
Trending Topics, “Mistral Large 4 on Artificial Analysis”, 2026. 10. 6. ··· 출력 토큰 약 2억 개와 중앙값 8,100만 개 비교가 나온 보도예요.

함께 읽으면 좋은 지난 호

제170호 「인공지능 벤치마크 이대로 괜찮은가?」 ··· 점수보다 채점 절차를 보자는 이야기였어요. 오늘 글은 그 채점 절차가 바뀔 때 생기는 일이에요.
제178호 「내려받을 순 있어요, 돌릴 수 없을 뿐」 ··· 가중치 공개와 실제로 돌릴 수 있는 능력 사이의 간극을 다뤘어요. 오늘 언급한 GLM-5.2 51점이 이 호에 있어요.
제146호 「Fable은 중국에 못 가는데 GPT는 간다」 ··· 소버린 AI를 누가 실제로 쥐고 있는지 물었던 글이에요.

필자 안광섭 (오스왈드)은 세종대학교 겸임교수, INLEVEL9 전략 컨설턴트입니다. 경력, 연구, 저서와 최신 활동은 저자 소개에서 계속 갱신합니다. 최근 소식 · 2026년 8월: 2026 세종도서 교양부문 우수도서 선정.

📝 용어 설명

각주

활성 파라미터 (Active Parameters): 전문가 혼합(MoE) 구조의 모델은 전체 파라미터 가운데 질문마다 일부 ‘전문가’만 골라 계산에 써요. 그 한 번에 쓰이는 몫이 활성 파라미터예요. 1조 개를 가진 모델도 한 번에는 490억 개만 움직이니, 덩치에 비해 계산 비용이 줄어요. ↩
Artificial Analysis 지능 지수 (Intelligence Index): 독립 평가 기관 Artificial Analysis가 여러 시험 점수를 가중 평균해 0~100으로 낸 종합 점수예요. 구성 시험이 바뀌면 같은 모델의 점수도 달라지기 때문에, 점수와 함께 버전을 봐야 해요. ↩
오픈웨이트 (Open Weights): 학습을 마친 모델의 가중치 파일을 공개해, 누구나 내려받아 자기 서버에서 돌릴 수 있게 한 모델이에요. 학습 데이터나 코드까지 공개하는 오픈소스와는 범위가 달라요. ↩
강화학습 (Reinforcement Learning, RL): 모델이 직접 과제를 시도하고, 결과가 좋으면 보상을 받는 방식으로 학습하는 방법이에요. 모델이 강해질수록 더 어려운 과제를 줄 수 있어서, 이미 큰 모델을 계속 끌어올리는 데 많이 쓰여요. ↩
폐쇄망 (에어갭, Air Gap): 외부 인터넷과 물리적으로 분리된 네트워크예요. 공공기관이나 보안이 중요한 조직에서 쓰며, 외부 API를 부를 수 없으니 모델을 망 안에 직접 설치해야 해요. ↩