30万ドルでFable 5級を作ったというチーム、採点表から見てみました

GLMを手直ししてFable 5級になったという発表が出ました

10月14日、ペーパー・インストゥルメンツ（Paper Instruments）という会社がウルトラマリン1フラッシュ（Ultramarine 1 Flash）を発表しました。金融・法律・コンサルティング・運用部門の専門業務、つまりデューデリジェンスメモや財務モデル、取締役会報告書といった成果物を作るのに特化したモデルです。ベースは中国のZ.aiがMITライセンスで公開したオープンウェイト¹モデルGLM-5.3 Flashで、その上に大規模強化学習²による事後学習³を行いました。APIはすぐに公開し、重みも近く公開するとしています。以前に医療用モデルKos-1を発表していた会社です。

数字が先に広まりました。CEOのダニッシュ・カジ（Daanish Khazi）氏はXで、5人が約30万ドル（すべての費用込み）で事後学習を行ったと書き、会社のページには「Fable級（Fable-class）でありながら60倍安い」と記されています。技術レポートの最初の段落には、タスクあたり0.13ドルでClaude Fable 5（8.19ドル）とGPT-5.6 Sol（2.09ドル）を上回ったという一文があります。

私はここで二つの点を見てみようと思います。一つは、この数字がどこまで成立するのかという点です。比較表にどのモデルがどんな設定で入っているか、採点を誰が行ったかによって、「上回った」という範囲は変わってくるからです。もう一つは方法です。コーディングであればテストが通れば報酬を与えられますが、デューデリジェンス報告書は事実関係だけでなく判断が適切だったかまで見る必要があります。その採点をどう作ったかが、この発表の中で最も長く残る部分だと思います。8月22日の208号でハービー（Harvey）を取り上げた際に、業務環境こそが資産だと書きましたが、今回はその環境を人ではなくモデルが作ったという点も併せて見ていきます。

---

6つのうち4つで勝ち、表の外にはもっと高いモデルと安いモデルがあります

報告書が使った知識労働ベンチマークは6つです。外部ベンチマークのJobBench、FrontierFinance、AutomationBench、APEX-Agents 1.1に、Paper Instrumentsが自ら作成したDiligenceBenchと内部評価のPI Knowledge Workを加えたものです。Ultramarineは6つすべてでベースモデルのGLM-5.3 Flashを上回り、平均4.1点差でした。トークンも6.5%少なく済んでいます。事後学習が効果を持ったという最も確かな根拠は、この「ベースモデル比」の行です。同じモデル、同じハーネスで、学習前後だけが異なるからです。

Fable 5と比較すると、6つのうち4つで上回りました。JobBench 62.9対57.4、PI Knowledge Work 59.3対57.8、FrontierFinance 53.3対49.2、AutomationBench 50.2対46.2です。残り2つでは負けました。DiligenceBench 50.6対52.9、APEX-Agents 1.1 57.0対63.6で、どちらの評価も1位はGemini 3.8 Flashです。負けた2つのうち1つが、この会社自身が作ったベンチマークだという点は書き留めておく価値があります。参考として掲載されたコーディングベンチマーク2つ（Terminal-Bench 2.1、DeepSWE）では、ベースモデルより1点から2点下がりました。専門業務の方に学習を振り向けると、コーディングが少し落ちるということも表にそのまま表れています。

「60倍安い」はPI Knowledge Work1カ所の数字です。作業あたりコストでUltramarineが0.13ドルで59.3点、Fable 5が8.19ドルで57.8点なので、コストの差は63倍です。同じ表でClaude Opus 5.5は6.96ドルで61.9点、GPT-6 Solは1.26ドルで61.4点と、Ultramarineよりそれぞれ2.6点、2.0点高くなっています。ここまでが報告書の冒頭段落が選んだ比較対象です。

Ultramarine 1 Flash — Paper InstrumentsUltramarine 1 Flash is an open model for professional work. It makes the decks, models, and memos that people in finance, law, consulting, and operations put in front of clients, at a fraction of thepaperinstruments.com

図表にはさらにあります。Claude Fable 5.1は8.64ドルで65.5点、GPT-6 Astraは5.64ドルで64.2点と、6点前後上にあります。反対側にはGPT-6 Lunaが0.11ドルで58.3点と、Ultramarineより安いのに1点低い位置にあります。会社もこの点を隠してはおらず、比較した39回の実行のうち27回がより高価でスコアが低いと書いています。裏返せば、12回はより安いか、より高いということになります。そして、すべてのモデルはそれぞれが対応する最も高い推論設定で動かされています。Fable 5の8.19ドルは最大推論設定の値で、低い設定では1.82ドルで50.8点です。「60倍」はFable 5の最も高価な設定と比較した数字です。

ベースモデルの行ももう一度見る価値があります。GLM-5.3 Flashは同じ評価で0.10ドルで52.0点です。事後学習で7.3点上げるのに、作業あたり3セント余計にかかりました。APIのトークン単価はベースモデルと同じだとされているので、この評価ではトークンをやや多く使ったことになります。報告書が明らかにした6.5%の削減は、6つのベンチマークを合算した数値です。

評価条件も見ておく必要があります。PI Knowledge Workはこの会社独自のハーネスであるFeather（フェザー）の上で動き、採点はGPT-5.6 Terraが行います。Ultramarineはまさにそのハーネスで学習したモデルです。外部ベンチマークはそれぞれの公式ハーネスを使っており、比較スコアの一部は会社自身が実行した値で、一部は公開リーダーボードから取得した値です。どのスコアがどちらなのかは、報告書の評価注釈にベンチマークごとに記載されています。この原稿を書いている16日時点で私が確認できた外部機関による独立評価はありません。

30万ドルと5人という数字は技術報告書にはありません。CEOのXスレッドから出てきた話で、GPU時間や学習期間といった内訳も報告書にはありません。報告書で確認できるのは、学習方式がLoRA⁴ランク64だという点です。Harveyの『Tenet』のように、ベースの重みはそのままにして薄い補助層だけを学習したという意味であり、コストが低い理由の一部はここにあります。

翻訳を確認しましたが、意味・数値・固有名詞・構造はすべて正確に対応しており、修正の必要な誤訳や欠落は見当たりませんでした。以下、原文のまま提示します。

正解のない仕事にどう点数をつけるか

強化学習は、モデルが課題を解き、点数を受け取り、点数が高かった行動をより多くとるようにする学習です。コーディングが強化学習にうまく合っていた理由は、点数を出しやすいからです。テストが通れば1、通らなければ0です。報告書も、これまでのエージェント事後学習研究の大半がこうした「検証可能な」課題、その中でも特にコーディングに集中していたと整理しています。

専門業務にはその採点機がありません。デューデリジェンスのメモや訴訟の年表は正規表現や単体テストで合っているかどうかを確認できず、答えの質は判断と感覚に左右されます。そこでPaper Instrumentsは課題ごとに採点表を別々に作りました。報告書が使う言葉で言えばルーブリック⁵です。

ここで私が長く読み込んだ箇所は、採点項目を一つどう書くべきかという説明です。報告書は、項目一つが可能な答えの上に境界線を引くと表現しています。模範解答一つをそのまま写した項目は、別の方式の正しい答えを落としてしまい、「適切な勧告を提示する」のように漠然とした項目は、もっともらしい誤答にも点数を与えてしまいます。その間で、項目は点数を得るための実質的な条件を、それを確認するのに必要な事実・基準・文脈とともに書かなければなりません。

例として掲載された課題が理解を助けてくれます。架空の取引「プロジェクト・オーロラ」で、取締役会向け事前資料の予測・開示部分を新しい経営陣予測（v7）に修正する仕事です。採点項目13番はこうなっています。「取締役会が今承認できるもの（v7を唯一の予測・バリュエーション基準とすることと、ロードショーで使う定性的なスタンス）と、まだ法務顧問の承認が必要なもの（外部向け文言と次回開示分の予測表）を区別しているか」。同じ趣旨を「唯一の予測基準という文言を使い、承認要請を先に提示する」と書けば正しい答えが二つ落とされ、「取締役会に有用な予測アップデートを提供する」と書けば不完全な答えが三つ拾われてしまいます。項目には減点もあります。法務顧問の承認なしにv7の数値を投資家向け説明に即座に使うことを承認すると50点が引かれ、旧v5基準の倍率を現在値のように使うと25点が引かれます。何をしてはいけないかまでが採点表に組み込まれているわけです。

項目ごとに充足・未充足を判定し、重みを掛けて合算した値が報酬になります。判定はモデルが行います。同社は、公開したルーブリックライブラリと、人間の専門家の判定に一致するよう調整したという採点プロンプトを使っていると明らかにしています。第166号で、コードで検査する場合とモデルに評価を任せる場合とでは確認できることが異なると書きましたが、この会社は二つ目の道を学習規模で拡大したことになります。そのためにはモデル採点の恣意性を項目設計で抑え込む必要があり、上述の境界線の話がその答えです。

課題はどこから来たのでしょうか。報告書は三つを検討したとしています。実際のユーザーの作業記録、専門家が直接書いた課題、そして合成課題です。ユーザー記録は暗黙の前提が混じっているため捨てました。「上位10医療機器企業のマージン」を尋ねたユーザーは売上高基準の上位10社を意味していたかもしれませんが、その記録から課題を作ると、時価総額や利益基準で選んだ正しい答えが減点されてしまいます。専門家作成は曖昧さはないものの、幅と採点品質を人の手で維持するコストが大きく、狭い課題は依然として正しい答えを排除してしまうと見ました。そのため、すべて合成の道を選びました。

規模はこうです。金融・法務・コンサルティング・オペレーションの4分野、19の実務領域、88種類の環境タイプです。金融だけで34種あり、M&Aディールルーム、IPO実行室、チャプター11債務者室、データセンタープロジェクトファイナンス室といった具合です。環境にはSEC開示資料（10-K、8-K、信用契約書といった添付物）と公開ウェブ資料を実際に取り込み、契約書や社内メールはシードデータとして合成します。CRM・ERP・倉庫管理・工程制御といった業務システムも偽物を立ち上げておき、MCPで接続します。実務領域ごとに成果物の形式、複雑性の源、利害関係者、資料間の矛盾、取引段階といった軸を組み合わせると、領域あたりの場合の数は1,000万から100億通りになるといいます。そうして作った課題一つを完成させるには、数十回のエージェントループと複数回の検証が必要です。根拠があるか、実務として現実的か、難易度が合っているか、指示と採点基準がずれていないかを確認し、答えが漏れていないか、モデルが小細工で点数を稼いでいないかをふるい分ける分類器も別途用意しています。最後に、基盤モデルの成績を基準に簡単すぎる課題をふるい落とします。

成果物は実際のExcel・PowerPoint・Word形式のファイルです。モデルがpython-docxのようなライブラリで文書を編集していると、ファイルを静かに壊してしまうことがよくあるため、同社はそのライブラリをフォークし、安全でない操作を拒否するバージョンを作って学習に使いました。採点時には、そのファイルをテキストに展開して採点モデルに渡します。

システムプロンプトは三つの文でした

学習と評価に使ったハーネス⁶・フィーダーも見応えがあります。会社はClaude Code、Codex、Cursor、Kimi Code、OpenCode、OpenHands、Qwen Codeのようなコーディングハーネスのツール規約を調査し、共通の慣行の上にPythonハーネスを新たに作りました。複数のハーネスを同時に使う学習は予算外だったため、どのハーネスに移しても転移がうまくいくよう「平均的な」ハーネスを狙ったものです。ツールはread・edit・write・grep・glob、bashとバックグラウンド作業、To-Doリストがすべてです。

目を引く選択は指示文を取り除いたことです。学習中のシステムプロンプトは三つの文、約50トークンです。Linuxサンドボックスの中で与えられたツールと作業空間で働くこと、機密情報を露出させないこと、結果ファイルは指定されたパスに置くこと。比較対象とした実際のハーネスのデフォルトシステムプロンプトは1,800トークンから4,400トークンの間です。ツールの説明も「いつ・どう使うか」ではなく「何をして何を保証するか」だけを記し、計画・検証の手順も省いています。理由は明確です。指示の多いプロンプトは評価スコアは上がりますが、モデルの探索を縛ってしまい、特定の作業方式を学習前に固定してしまいます。実サービス用のプロンプトは学習の最終段階でのみ投入しました。

報酬には長さに対するペナルティもあります。生成トークンが許容値を超えたりターン数が多くなったりすると減点され、誤ったツール呼び出しも減点されます。トークンの使用量が6.5%減ったのは、このペナルティの結果です。画像は学習しておらず、モデルが画像を読もうとすると「この環境ではビジョンは使えません」というテキストだけを返します。

ハービー時代との違い

2カ月前の208号で見たハービーのテネットと並べてみると、違いが見えてきます。ハービーはKimi K3をベースに2カ月間B300を約150枚稼働させ、弁護士が実際に受ける仕事を模した1,750の環境と、弁護士が作成した7万5,000の採点項目を使いました。その弁護士たちはMercorとSnorkelを通じて雇用したものです。私はその時、モデルは消耗品であり、業務環境こそが資本財だと書きました。

Paper Instrumentsは、その資本財を人の手で作っていません。ハービーも顧客データは使っていないと明言していましたが、弁護士を雇って課題と採点項目を書かせていました。Paper Instrumentsはその段階までモデルに任せたのです。専門家が作成する課題はコストを理由に排除し、88種類の環境を生成パイプラインで量産しました。両社のコスト主張はベンチマークが異なるため単純比較はできません。ハービーは主要フロンティアモデルの4分の1以下だと言い、Paper Instrumentsは自社評価で60分の1だと言っているに過ぎません。

共通点もあります。どちらも中国製のオープンウェイトの上にLoRAで薄く学習させ、どちらもトークンを少なく使う方に報酬を与え、どちらも自社のベンチマークで自社のモデルを評価しています。そして両社とも、最も難しい仕事は依然としてフロンティアモデルに残しています。Ultramarineの表でも、Fable 5.1とGPT-6 Astraは6点より上に位置しています。

Oswarldの視点

私の仕事において、この発表が引っかかる点は2つあります。

1つは閉域網です。企業に納品したりAI導入を設計したりする際、私は「モデルは常に上位へ更新される」という前提で準備します。公共機関の閉域網をセットアップする際も、今のモデルではなく6カ月から12カ月後に出るオープンウェイトのおおよその水準を見込んでプロジェクトを組みます。ウルトラマリンは、この前提に変数を1つ加えます。次のオープンウェイトを待つ代わりに、今あるオープンウェイトを特定の業務に合わせて引き上げるコストがどこまで下がったか、という点です。会社の主張どおり30万ドルなら、閉域網プロジェクト1件の予算内で検討対象になる数字です。ただし、その金額は学習コストであり、全パラメータ3,200億個の基盤モデルを網内に載せる装置は別です。178号で見たとおり、メモリは活性化パラメータ⁷ではなく全パラメータに連動するからです。

もう1つは、私がすでに使っている分業です。全体計画とオーケストレーション、最初の設計図はClaudeやGPT-6に任せ、時間がかかって反復の多い作業はDeepSeekやGLMに回すようになって、かなり経ちます。Ollama Cloudで兆単位のトークンを使ってもClaudeやGPT-6よりはるかに安く、Skill.mdやsoul.mdのようなハーネスファイルをきちんと設定しておけば、結果も十分使えると見ています。ですから、GLMの上に載せた専門業務モデルという発表は、私にとって見慣れない組み合わせではありません。ただし、論文『Instruments』は学習中にそのハーネス指示文を50トークンまで削り落としました。私が使うときに上乗せする指示と、彼らが学習時に外した指示は、同じものなのに時点が違います。重みが公開されたら、私のハーネスファイルをそのまま載せたときと外したときで結果がどう違うのか、まずそれが気になります。

いつも言うことですが、すべての人、すべての仕事に超知能が必要なわけではありません。仕事と環境に合ったモデルが別にあります。208号で私は、モデルは消耗品であり業務環境こそが資本財だと書きましたが、今回の発表はその環境さえもモデルが生成できるという方向へもう一歩進みました。そうなると残る資産は、環境そのものより、環境を生成する分類体系と、採点項目を境界線として使う技量、そして学習中に見つかる小細工を防ぐフィルターです。報告書では重みと学習コードを公開するとしていますが、88種類の環境を作るパイプラインを公開するとは書かれていません。韓国側への問いも同じように変わります。Harveyのときは、韓国業務を1,750個の環境として書き記した企業があるかを問いましたが、今度はSEC開示の代わりにDART開示を種として入れ、韓国の法律事務所と会計法人が目にする文書慣行を採点項目として書き起こす人が誰なのか、という問いに変わります。

おわりに

ウルトラマリンが示したのは二つのことです。正解のない文書業務でも、採点項目を境界線として使えば強化学習の報酬に変換できるということ、そしてその作業を5人が30万ドルでやったと主張しているということです。前者については報告書に方法が書かれていますが、後者は重みが公開され、別のハーネスで別の人が走らせた数字が出て初めて確認できます。それまでは「フェーブル5を超えた」という言葉は、自社ベンチマークにおいて、最も高額な設定のフェーブル5を、6項目中4項目で上回ったという意味で読むのが正しいでしょう。

---

💬 読者さんは、スコアが同程度で価格が60分の1のモデルがあったら乗り換えますか？乗り換えないとしたら、何がもっと確認されるべきか、コメントで聞かせてください。

📨 オープンウェイトモデルを業務用に検討している同僚がいたら、この記事を共有してください。

参考資料と関連リンク

主要出典

• Paper Instruments、「Ultramarine 1 Flash: Scaling Non-Verifiable RL」、2026.10.14。……この記事の一次資料です。ルーブリック設計、88種の環境、フェザーハーネス、学習設定（LoRAランク64）、ベンチマーク表と評価の注釈、プロジェクト・オーロラの例がすべてここにあります。
• Paper Instruments、「Ultramarine 1 Flash」製品ページ。……「Fable-class」「60x cheaper」という文言と、API価格（入力0.15ドル、キャッシュ入力0.03ドル、出力0.50ドル、100万トークンあたり）、コスト対スコア図の出典です。
• Z.ai、「GLM-5.3-Flash」モデルカード、Hugging Face。……全体3,200億・活性180億パラメータ、MITライセンス、ネイティブマルチモーダルというベースモデル情報の出典です。
• Runtime Wire、「Paper Instruments launches Ultramarine 1 Flash for professional work」、2026.10。……CEOダニシュ・カジのXスレッドをまとめた記事です。5人、約30万ドル、重みは2週間後に公開という発言の出典です。

併せて読みたい過去号

• OpenAIが投資した法律AIハービー、ベースは中国産オープンウェイト（第208号）……今日の記事の前編です。弁護士が作った7万5,000件の採点項目と1,750の環境で、わずか2カ月でモデルを作り上げたハービーの話です。
• AIの出力を検証するときに分けて考えるべき2つの検査（第166号）……コードで検査する場合とモデルに評価を任せる場合で、確認できることがどう違うのかを整理した号です。
• 重みは公開されたのに個人では動かせないオープンウェイト（第178号）……MoEモデルのメモリ要件が、なぜ全体パラメータ数に連動するのかを数字で見た号です。

著者 アン・グァンソプ（Oswarld） は世宗大学校 兼任教授、INLEVEL9 戦略コンサルタントです。経歴、研究、著書、最近の活動は著者紹介で更新しています。 最近の活動 · 2026年7月：HEMA-2: A Consolidation-Aware Tri-Memory Architecture with Multi-Channel Scheduling for Lifelong Conversational AI。

📝 用語解説

각주

1. オープンウェイト（open weights）：モデルの学習成果物である重みファイルを誰でもダウンロードし、自分のサーバーで動かしたり修正したりできるように公開する方式です。GLM-5.3 FlashはMITライセンスのため、商用の修正・再配布も許可されています。 ↩

2. 強化学習（reinforcement learning）：モデルが課題を遂行し、その結果に点数（報酬）を受け取ると、点数が高かった行動をより頻繁に取るよう重みを修正していく学習方式です。コーディングのように自動で採点できる課題で先に成果を上げました。 ↩

3. 事後学習（post-training）：すでに作られたモデルに、特定分野のデータと報酬を追加で学習させ、用途に合わせて調整する工程です。最初からモデルを作る事前学習とは区別されます。 ↩

4. LoRA（Low-Rank Adaptation）：元のモデルの重みには手を加えず、脇に薄い補助層を付け加えてその層だけを学習させる手法です。ランクはその補助層の大きさを決める値で、コストは少なく済む反面、ベースモデルの性質がほぼそのまま残ります。 ↩

5. ルーブリック（rubric）：成果物を評価する際に使う項目別の採点表です。項目ごとに充足の有無と配点があり、今回のモデルではこの採点表のスコアが強化学習の報酬になります。 ↩

6. ハーネス（harness）：モデルを実際に働かせるための外側の枠組みです。どのツールを使えるか、ツール呼び出しの結果をどう返すか、長い作業で文脈をどう圧縮するかといったルールを含みます。Claude CodeやCodexのようなコーディングエージェントが代表的なハーネスです。 ↩

7. 活性パラメータ（active parameters）：専門家混合（MoE）構造のモデルが1トークンを処理する際に、実際の計算に使われるパラメータ数です。GLM-5.3 Flashは全体3,200億個のうち180億個しか計算に参加しませんが、どの専門家が呼び出されるか分からないため、全体をメモリに載せておく必要があります。 ↩