Solarの42点とMistralの38点は異なる物差しで測った数字です

1兆パラメータのモデルが登場した日、見当違いな比較がついて回りました

読者さん、先日フランスのMistral AIがMistral Large 4のパブリックプレビューを公開しました。総パラメータ数は1兆個、そのうち一度に実際の計算へ参加するアクティブパラメータ¹は490億個です。当初からテキストと画像を同時に処理するよう作られたモデルで、APIは本日オープンし、重みは今月末に公開される予定だといいます。Mistralは公式ブログでこのモデルを「le Chonk」という愛称で紹介しています。日本語に訳すなら「巨漢」といったところですが、そのサイズを見れば大げさな表現ではありません。

このニュースとともに、韓国内からは不満交じりの声も聞こえてきます。UpstageのSolar Pro 4のほうが優れたモデルなのに、市場で正当な評価を受けていないというのです。SolarはUpstageが開発する韓国独自のモデル系列ですね。

数字だけを並べると、一見もっともらしく思えるかもしれません。独立評価機関Artificial Analysisの知能指数²において、Solar Pro 4は8月に42点を獲得し、Mistral Large 4は本日38点を獲得したからです。しかし、この二つの数字は同じ物差しで測られたものではありません。本日は、物差しがいつ変わったのかを見ることから始め、物差しの基準を揃えた後でも「正当な評価」という言葉に何が残るのかを検証してみたいと思います。

9月7日、ものさしが変わった

Artificial Analysisは9月7日、知能指数をv4.3へと改定しました。10種類のテストを束ねて1つのスコアを算出する方式自体はそのままであるものの、その構成が変わったのです。複数段階にわたるツール利用を評価していたτ³-Bankingが除外され、Zapierと共同開発した657問からなる業務自動化テストAutomationBench-AAが追加されました。ターミナル作業テストはTerminal-Bench v2.1からv4.0へと変更されています。同機関は今回の改定によってエージェントコーディング課題をより難しくし、制限時間や演算リミット、採点方式を再調整したと説明しています。問題非公開のテストの比重も40%から45%へと引き上げられました。問題を事前に見てそれに合わせて学習させるのを難しくするためです。

テストが難しくなれば、同じモデルであってもスコアは下がります。当ニュースレターもこの変化を避けては通れませんでした。8月5日付の第178号でGLM-5.2を51点と記載しましたが、現在Artificial Analysisのページ上でGLM-5.2(max)は34点と表示されています。モデルがこの2カ月間で劣化したのではなく、ものさしの目盛りが変わったのです。

Solar Pro 4も同様です。42点という数字は8月12日、改定前の指数で獲得したスコアです。同機関のページに現在表示されている値は28点となっています。Mistral Large 4の38点は、改定後のバージョンであるv4.3.2で測定されたスコアです。今、同じものさしの上に載せれば、順位はむしろ逆転します。ちなみに38点は、オープンウェイト³陣営のDeepSeek V4.1 Flash（39点）に近い位置づけです。

ただし28点にはアスタリスクが付いている

ここで話を終わらせては、Solar側に不公平です。現在のページの28点の横にはアスタリスクが付いており、推定値であって独立した評価は間もなく公開されるという説明が添えられています。改定されたテストでSolar Pro 4を直接再テストした結果は、まだないという意味です。同じ表にあるSolar Mini 4の24点は、アスタリスクなしで表示されています。

UpstageがSolar Pro 4を紹介する際、最も大きな改善点として打ち出したのは3つありました。ターミナル作業（Terminal-Bench v2.1）が12点から57点に、複数ステップのツール利用（τ³-Banking）が9点から23点に、長文推論（AA-LCR）が31点から71点へと上がったという点です。このうち前の2つのテストは、9月の改定で除外されたり別のバージョンに変更されたりしました。最も大きく伸びた科目がテスト用紙から変わってしまった形です。新しいテストでも同じように優れた結果を出せるかは、改めて測定してみなければ分かりません。

Solar Pro 4の設計において、注目すべきポイントがもう一つあります。Upstageは、このモデルが根拠のない場合に答えを捏造するのではなく確認できないと答えるように作ったと説明しています。Artificial Analysisも8月の評価でSolar Pro 4の知識信頼性スコアが大幅に上がったことを確認しましたが、その上昇は知識量が増えたからというより、分からないときに回答を控えたことによるものだと指摘しました。2つの説明は矛盾していません。契約書のレビューのように、誤った数字が1つあるだけで次の段階へ波及する業務では、まさにその性質こそが役に立ちます。ただ、「より多くを知っている」という根拠として使うのは難しいということです。

ですから、Solar側が要求できることは明確にあります。同じ物差しでもう一度測ってほしい、ということです。それは「42点なのにどうして分かってくれないのか」とは異なる要求です。

リーダーボードの外では試験問題の作成を任される

リーダーボードの外では、別の種類の評価がすでに下されていました。ソウル経済は10月5日、Upstageが韓国教育課程評価院の「AI基盤の修能（韓国の大学修学能力試験）英語自動問題生成機能開発事業」で優先交渉権者に選定されたと単独で報じました。入札には13社が参加し、評価院は総合得点の90%を技術評価に割り当てました。価格よりも技術で明暗が分かれた審査だったということです。正式な契約はまだ控えており、目標とする開発時期は来年5月です。計画通りに進めば、早ければ来年の修能の出題プロセスに活用される可能性があるといいます。

【独自】Upstage、修能英語問題のAI出題を担う【独自】Upstage、修能英語問題のAI出題を担うsedaily.com

この事業でAIが担う役割は、試験を解く側ではなく出題する側です。達成基準、問題タイプ、語彙レベルや題材を指定すると、本文と選択肢、正解と解説を作成し、過去の受験生データをもとに新規問題の予想正答率や等級別比率まで算出する仕組みです。問題の生成、検証、類似度・盗用検査、難易度予測を分担するエージェント同士が互いに結果をやり取りしながら問題を磨き上げるそうです。評価院は提案段階から、修能の全領域へ拡張できるよう設計することを求めました。

ベンチマークの試験問題で採点されていたモデル企業が、国家試験の出題工程を構築することになったわけです。 知能指数はこのモデルが何点なのかを問いますが、評価院は修能の英語問題を作成・検証する業務をこの条件下でやり切れるかを問いました。業界では、独自モデル「Solar」を開発してきた技術力が選定に影響を与えたと見ているそうです。ただし報道では、このシステムにSolarのどのモデルが組み込まれるかまでは触れられていません。

Mistralが打ち出したのはスコアの先にあるもの

逆にMistral Large 4を知能指数の1行だけで読み解こうとしても、見落とすものが多くなります。Mistralが発表文で念入りに説明したのは、スコアよりも「どこで、誰がこのモデルを動かすのか」でした。

このモデルは、Mistralが欧州で直接運用するデータセンターのNvidia Grace Blackwell GPU 3,800基でゼロから学習され、プレビュー版も同じインフラから提供されています。欧州での展開は他のデジタルサービス事業者に依存せず、欧州法の下で最初から最後まで自社で直接運用すると明らかにしました。学習データにはEU公用語のすべてを含む160を超える言語が含まれています。Mistralの表現を借りれば、米国や欧州発のオープンウェイトモデルの中では大きく先行しており、世界最高水準のオープンモデルとも競い合えるレベルです。重みを公開し、顧客が自社サーバーに直接デプロイできるようにするという約束まで合わせれば、Mistralが売っているのは「欧州内で完結するAI」なのです。

サイバーセキュリティの成績も同じ文脈で読み解けます。実際のオープンソースソフトウェアの脆弱性を再現し、パッチの適用まで行うテストでは82%で全モデル中1位となり、セキュリティ競技の問題40問で構成されたCybenchでは93%を解いたといいます。しかし、Mistral自らが付け加えた説明があります。Claude Opus 5.5やGPT-6 Astraといった主要なクローズドモデルがこの再現・パッチテストで0点近くとどまった理由は、課題の遂行を拒否したからだという点です。この1位という結果には、能力の差とともに拒否ポリシーの違いが混ざり合っています。

Mistralはまさにその点を販売論理に用いています。防御側としても欠陥が本物かどうかを検証する作業から始めなければならないのに、インシデント対応の最中にプロバイダーのポリシーによって機能がブロックされてしまえば、それ自体がセキュリティリスクになるというわけです。同時に、悪意のあるサイバーリクエストに対する拒否率は他のオープンモデルよりも高いと併せて明らかにしました。できることと拒否すべきことを、ベンダーではなく利用する組織のポリシーで切り分けるという提案です。

コスト面の数字はそれほど華々しくありません。入力100万トークンあたり1.36ドル、出力100万トークンあたり4.18ドルで、Artificial Analysis基準では指数課題を1問解くのに平均1.13ドルかかりました。ある報道によると、指数全体を解く間に約2億個の出力トークンを消費しましたが、類似モデルの中央値は8,100万個でした。同じ作業をこなすのに言葉数が多いという意味です。

Mistralはこのモデルがまだ学習中であるとも明らかにしました。GPU 3,000基で回す強化学習⁴が1日330億トークンを生成し、フィルタリングを経て160億トークンが学習に使われていますが、まだ性能が頭打ちになる気配はないということです。30億ユーロ規模のシリーズD資金で欧州内の演算リソースも増やしています。本日の38点は、プレビュー段階で撮られた写真の1枚にすぎません。

Oswarldの視点

私は企業のシステム納品やAI導入コンサルティングを設計する際、「モデルは常に向上していく」という前提で準備を進めます。公共機関の閉域網⁵を構築するときも同様です。いま出ているモデルではなく、6か月から12か月後に出てくるオープンウェイトモデルがおよそどの水準に達しているかを想定してプロジェクトを設計するのです。

そして、私が常々口にしていることがあります。すべての人、すべての業務に超知能が必要なわけではありません。業務や環境に適したモデルがそれぞれ存在するのです。

この基準で見れば、「Solarのほうが優れているのに、なぜなのか」という疑問は、比較の枠組みがずれています。閉域網プロジェクトで真っ先に確認すべきなのは、リーダーボード上の4点ではなく、重みをネットワーク内に持ち込めるかどうか、ライセンスが何を許可しているか、自社の文書と自分たちの言語で業務を完結できるかどうかです。Solar Pro 4はAPIとして利用する商用モデルであり、オンプレミスでの展開は別途問い合わせとなっています。Upstageのオープンウェイト系列には、Solar Open 2が別に存在します。Mistral Large 4と同じ土俵に置いて比較すべき相手は、今のところSolar Pro 4よりもSolar Open 2の方なのです。

だからこそ私は、韓国のモデルが過小評価されていると嘆くよりも、どのような業務にどのような条件で使えばどこまで通用するのかを示すことこそが、評価を変えるのだと考えています。評価院の事業はまさにその好例です。リーダーボード上の4点ではなく、修能（韓国の大学修学能力試験）の英語問題を作成・検証するという具体的な課題を前に、技術スコアを獲得したのですから。

Upstageが公開した韓国語の法律・医療・事務のスコアは、その材料になり得ます。ただし、これらのスコアはUpstageの内部環境で測定された値です。同じテストを第三者が再び実行した際にも結果が維持されるなら、そのときこそ不満の声を上げずとも、数字が代わりに語ってくれるはずです。

おわりに

リーダーボードの数値には日付とバージョンが付いています。2つのモデルを比べる記述を目にしたとき、その2点が一致しているか、そしてその数値が実測値なのか推定値なのかを確認するだけでも、今回のような誤解はほとんど防ぐことができます。

---

💬 リーダーボードの順位と実際に使ってみた印象が違っていたモデルはありましたか？ どんなモデルだったか、ぜひ一言お寄せください。

📨 社内でモデルの比較表を作っている同僚がいたら、この記事をシェアしてください。

---

参考資料と関連リンク

主要出典

• Mistral AI, “Introducing Mistral Large 4”, 2026年10月6日 ··· パラメータ構成、学習インフラ、サイバーセキュリティのスコアとクローズドモデルの拒絶に関する説明、価格、強化学習の規模はすべてこの発表文に基づいています。
• Artificial Analysis, “Announcing the Artificial Analysis Intelligence Index v4.3”, 2026年9月 ··· 9月の改定で何が除外され何が追加されたのか、非公開テストの比率がどう変わったのかを確認できます。
• Artificial Analysis, 「Solar Pro 4 モデルページ」, 2026年10月6日確認 ··· 28点が推定値である旨の表示と、v4.3.2基準の説明があります。
• Artificial Analysis, 「Upstage 提供モデルの比較」, 2026年10月6日確認 ··· Solar Pro 4、Solar Mini 4、Solar Pro 3を同一の表で確認できます。
• Artificial Analysis, “Upstage Solar Pro 4: Benchmarks and analysis”, 2026年8月 ··· 改定前指数の42点と、知識の信頼性向上が回答を控えたことによるものだという分析の出典です。
• Upstage, 「Solar Pro 4: 実務を最後までやり遂げるエージェントモデル」, 2026年8月11日 ··· 3つの改善数値、根拠のない回答を避ける設計、Solar Open 2との役割分担、内部評価の表が掲載されています。
• リュ・ソク、 「[独自] Upstage、修能英語問題のAI出題を担う」, ソウル経済, 2026年10月5日 ··· 韓国教育課程評価院の事業での1位選定（優先交渉権獲得）、13社による入札、技術評価90%、マルチエージェントによる出題構造の出典です。単独報道であるため、評価院の公式発表はまだ確認できていません。

背景知識

• Artificial Analysis, 「DeepSeek V4.1 Flash リリースページ」, 2026年9月 ··· 38点と比較された39点の出典です。
• Trending Topics, “Mistral Large 4 on Artificial Analysis”, 2026年10月6日 ··· 出力トークン約2億個と中央値8,100万個の比較が報じられた記事です。

あわせて読みたいバックナンバー

• 第170号『AIベンチマークはこのままでよいのか？』 ··· スコアよりも採点手順を見ようというお話でした。今回の記事は、その採点手順が変わったときに何が起きるかについてです。
• 第178号『ダウンロードはできても、動かせないだけ』 ··· 重みの公開と実際に稼働させられる能力とのギャップを扱いました。今回言及したGLM-5.2の51点はこの号に登場します。
• 第146号『Fableは中国に行けないが、GPTは行く』 ··· ソブリンAIを実際に誰が掌握しているのかを問いかけた記事です。

---

著者 アン・グァンソプ（Oswarld） は世宗大学校 兼任教授、INLEVEL9 戦略コンサルタントです。経歴、研究、著書、最近の活動は著者紹介で更新しています。 最近の活動 · 2026年7月：HEMA-2: A Consolidation-Aware Tri-Memory Architecture with Multi-Channel Scheduling for Lifelong Conversational AI。

📝 用語解説

각주

1. アクティブパラメータ（Active Parameters）：Mixture of Experts（MoE）構造のモデルは、全パラメータのうち質問ごとに一部の「専門家（エキスパート）」だけを選んで計算に用います。その1回の計算に使われる分がアクティブパラメータです。1兆個のパラメータを持つモデルでも、1回に動くのは490億個だけなので、全体の規模に比べて計算コストが抑えられます。 ↩

2. Artificial Analysis知能指数（Intelligence Index）：独立系評価機関であるArtificial Analysisが、複数のテストスコアを加重平均して0〜100で算出した総合スコアです。構成するテストが変われば同じモデルのスコアも変わるため、スコアとともにバージョンを確認する必要があります。 ↩

3. オープンウェイト（Open Weights）：学習済みのモデルの重み（ウェイト）ファイルを公開し、誰でもダウンロードして自社サーバーなどで稼働できるようにしたモデルです。学習データやコードまで公開するオープンソースとは公開の範囲が異なります。 ↩

4. 強化学習（Reinforcement Learning、RL）：モデル自身が課題を試行し、結果が良ければ報酬を受け取る方式で学習を進める手法です。モデルが優秀になるにつれてより難度の高い課題を与えられるため、すでに大規模なモデルの能力をさらに引き上げる目的で広く使われます。 ↩

5. 閉域網（エアギャップ、Air Gap）：外部インターネットと物理的に隔離されたネットワークです。公共機関やセキュリティを重視する組織で使われており、外部APIを呼び出すことができないため、モデルをネットワーク内に直接導入する必要があります。 ↩