号称用30万美元做出Fable 5级水平的团队，我先看了评分表

有发布称：改造GLM后达到了Fable 5级水平

10月14日，一家名为Paper Instruments的公司推出了Ultramarine 1 Flash。这是一款针对金融、法律、咨询、运营部门专业工作而打造的模型，用来生成尽职调查备忘录、财务模型、董事会报告之类的成果。它的底座是中国Z.ai以MIT许可证开源的开放权重¹ GLM-5.3 Flash，在此基础上用大规模强化学习²做了后训练³。API已经开放，权重据称很快会公开。这家公司此前曾推出过医疗用模型Kos-1。

数字先传开了。CEO Daanish Khazi在X上写道，五个人花了约30万美元（含全部费用）完成了后训练，公司页面上写着“达到Fable级（Fable-class）水平，却便宜60倍”。技术报告第一段里有一句话，说每项任务0.13美元，领先于Claude Fable 5（8.19美元）和GPT-5.6 Sol（2.09美元）。

我想看两件事。一是这些数字能成立到什么程度——比较表里放了哪些模型、用了什么设置、由谁来打分，这些都会让“超越了”的范围发生变化。二是方法。编程类任务只要测试通过就能给奖励，但尽职调查报告不仅要看事实是否准确，还要看判断是否恰当。这套评分标准是怎么做出来的，才是这次发布里最值得留存的部分。8月22日第208期谈Harvey时我写过，工作环境本身就是一种资产，这次我也想一并看看——这个环境这次不是人做的，而是模型做的。

---

六项中赢了四项，表格之外还有更贵的模型和更便宜的模型

报告使用的知识工作基准测试共有六个。在外部基准测试JobBench、FrontierFinance、AutomationBench、APEX-Agents 1.1的基础上，加上了Paper Instruments自行开发的DiligenceBench，以及内部评测PI Knowledge Work。Ultramarine在全部六项中都高于基础模型GLM-5.3 Flash，平均差距为4.1分。所用的token也减少了6.5%。后训练确实有效的最坚实证据，就是这条“与基础模型对比”的数据行，因为同一个模型、同一个评测框架，唯一的差别只是训练前后。

与Fable 5相比，在六项中有四项领先。JobBench为62.9比57.4，PI Knowledge Work为59.3比57.8，FrontierFinance为53.3比49.2，AutomationBench为50.2比46.2。剩下两项则落败：DiligenceBench为50.6比52.9，APEX-Agents 1.1为57.0比63.6，这两项评测的第一名都是Gemini 3.8 Flash。值得一提的是，落败的两项中有一项正是这家公司自己开发的基准测试。作为参考列出的两个编程基准测试（Terminal-Bench 2.1、DeepSWE）中，成绩比基础模型低了1到2分。表格中同样清楚地显示，把训练资源集中投向专业工作领域，编程能力就会稍微下降。

“便宜60倍”只是PI Knowledge Work这一项的数字。按每项任务成本计算，Ultramarine是0.13美元对应59.3分，Fable 5是8.19美元对应57.8分，成本差距其实是63倍。同一张表里，Claude Opus 5.5是6.96美元对应61.9分，GPT-6 Sol是1.26美元对应61.4分，分别比Ultramarine高出2.6分和2.0分。以上就是报告第一段挑选出来进行比较的对象。

Ultramarine 1 Flash — Paper InstrumentsUltramarine 1 Flash is an open model for professional work. It makes the decks, models, and memos that people in finance, law, consulting, and operations put in front of clients, at a fraction of thepaperinstruments.com

图表里还有更多数据。Claude Fable 5.1是8.64美元对应65.5分，GPT-6 Astra是5.64美元对应64.2分，都比Ultramarine高出6分左右。另一端则有GPT-6 Luna，0.11美元对应58.3分，比Ultramarine便宜，但分数低1分。公司对此也没有隐瞒，写明在比较的39次运行中，有27次是价格更高、分数更低。反过来说，有12次是价格更低或分数更高。而且所有模型都是用各自支持的最高推理设置来运行的。Fable 5的8.19美元是最高推理设置下的数值，在较低设置下是1.82美元对应50.8分。“60倍”是与Fable 5最贵设置相比得出的数字。

基础模型这一行也值得再看一眼。GLM-5.3 Flash在同一评测中是0.10美元对应52.0分。通过后训练把分数提高7.3分，每项任务多花了3美分。由于API的token单价与基础模型相同，这意味着在这项评测里其实多用了一些token。报告所称的6.5%节省，是把六项基准测试合并计算后的数字。

评测条件也需要留意。PI Knowledge Work是在这家公司自己的测试框架Feather上运行的，评分由GPT-5.6 Terra完成。而Ultramarine正是在这个框架上训练出来的模型。外部基准测试则各自使用了官方的测试框架，比较用的分数中有一部分是公司自己跑出来的，另一部分来自公开排行榜。哪个分数属于哪种来源，报告在每个基准测试的评测注释里都有标注。截至我写这篇文章的16日为止，我没有确认到任何外部机构的独立评测。

30万美元和五个人这两个数字，并没有出现在技术报告里。它们来自CEO在X上发的帖子串，而GPU工时或训练周期之类的细节，报告中同样没有提及。报告中可以确认的是，训练方式采用了LoRA⁴，秩（rank）为64。这意味着就像Harvey的Tenet一样，保留基础权重、只训练薄薄一层附加层，成本低的部分原因也在这里。

给没有标准答案的事情打分的方法

强化学习是让模型完成任务、获得分数，并让得分更高的行为被更多强化的学习方式。编程之所以适合强化学习，是因为打分很容易。测试通过就是 1，否则就是 0。报告也总结说，迄今为止大多数智能体后训练研究都集中在这种“可验证”的任务上，其中又以编程居多。

专业工作没有这样的打分器。尽职调查备忘录或诉讼时间线无法用正则表达式或单元测试来核验对错，答案的质量取决于判断力和经验。因此 Paper Instruments 为每项任务单独制作了评分表。报告中称之为评分准则（rubric）⁵。

我在这里读得最久的部分，是关于如何撰写单条评分项目的说明。报告将一个项目描述为“在诸多可能答案之上划出一条边界线”。照抄某一份标准答案的项目，会淘汰掉以其他方式作答却同样正确的答案；而像“提出适当的建议”这类笼统的项目，则会给似是而非的错误答案打分。在这两者之间，评分项目必须写明获得分数的实质条件，以及核实这一条件所需的事实、标准和背景。

报告所附的示例任务有助于理解。在虚构的交易“极光项目”（Project Aurora）中，任务是修改董事会预备资料中的预测与披露部分，使之采用新的管理层预测（v7）。第 13 项评分标准是这样写的：“是否区分出董事会现在可以批准的内容（将 v7 作为唯一的预测与估值依据，以及路演中使用的定性立场），与仍需法务顾问批准的内容（对外措辞以及下一轮披露周期的预测表）。”如果把相同的意思写成“采用唯一预测依据的措辞，并首先提出批准请求”，就会淘汰两个同样正确的答案；而如果写成“为董事会提供有用的预测更新”，则会附带三个不完整的答案。该项目里还设有扣分项：如果在没有法务顾问批准的情况下批准将 v7 数值直接用于投资者说明材料，扣 50 分；如果把旧版 v5 标准下的倍数当作当前数值使用，扣 25 分。也就是说，不该做什么，也被写进了评分表里。

每一项都要判定是否满足条件，再乘以权重后相加，得出的值就是奖励。判定由模型来完成。该公司表示使用了自己公开的评分准则库，以及经过调整、使其判定结果与人类专家判定保持一致的评分提示词。我在第 166 期写过，用代码检查和交给模型评估时能确认的东西是不一样的，而这家公司正是把第二条路径扩展到了训练规模。要做到这一点，就必须靠项目设计来压制模型打分的随意性，而上面所说的“划边界线”正是答案。

任务从何而来？报告说他们考察了三种来源：真实用户的工作记录、专家亲自编写的任务，以及合成任务。用户记录中混杂着隐含假设，因此被放弃。比如问“排名前十的医疗器械公司利润率”的用户，可能指的是按营收排名前十，但如果据此制作任务，按市值或利润排名选出的正确答案就会被扣分。专家编写虽然没有歧义，但靠人工维持任务的广度和评分质量成本很高，而且范围狭窄的任务仍然会排除一些正确答案。因此最终全部转向了合成方式。

规模是这样的：金融、法律、咨询、运营四个领域，19 个实务领域，88 种环境类型。仅金融就有 34 种，例如并购交易室、IPO 执行室、第 11 章破产债务人办公室、数据中心项目融资室等。环境中会实际引入 SEC 披露文件（10-K、8-K、信贷协议等附件）和公开网络资料，而合同或内部邮件则作为种子数据合成生成。CRM、ERP、仓储管理、工艺控制等业务系统也会被虚拟搭建起来，并通过 MCP 连接。每个实务领域都可以组合产出成果的格式、复杂性来源、利益相关者、资料间的冲突、交易阶段等维度，据称每个领域可组合出一千万到一百亿种情形。完成一个这样制作出来的任务，需要数十次智能体循环和多轮审查。要检查是否有依据、是否具有实务上的真实感、难度是否合适、指令与评分标准是否一致，另外还单独设有分类器，用来过滤答案泄露以及模型靠取巧手段骗取分数的情况。最后，还会根据基础模型的表现，过滤掉过于简单的任务。

最终成果是真实的 Excel、PowerPoint、Word 文件。模型在用 python-docx 之类的库修改文档时，经常会悄无声息地把文件弄坏，因此公司对该库进行了分支（fork），做出了一个会拒绝不安全操作的版本，并用它来进行训练。评分时，会把这些文件解析成文本后交给评分模型。

系统提示词只有三句话

用于训练与评估所用的 harness⁶ 本身也值得一看。该公司调研了 Claude Code、Codex、Cursor、Kimi Code、OpenCode、OpenHands、Qwen Code 等编程 harness 的工具协议，并在共同惯例之上重新构建了一个 Python harness。同时使用多个 harness 进行训练超出了预算范围，因此他们瞄准的是一个“平均化”的 harness，以便迁移到任何 harness 时都能顺利转移。工具只有 read、edit、write、grep、glob，以及 bash 与后台任务、待办事项列表。

一个引人注目的选择是，他们把指令部分去掉了。训练期间的系统提示词只有三句话，大约 50 个 token。内容是：在 Linux 沙盒中使用给定的工具和工作区进行工作；不要泄露机密信息；将结果文件放在指定路径下。作为对比的实际 harness 的默认系统提示词长度在 1,800 个 token 到 4,400 个 token 之间。工具说明也不是写“何时该如何使用”，而只写“它做什么、保证什么”，并且省去了规划与验证流程。原因很明确。指令繁多的提示词虽然能提高评测分数，却会束缚模型的探索，并在训练之前就把特定的工作方式固定下来。面向实际服务的提示词只在训练的最后阶段才被加入。

奖励机制中还包含长度惩罚。如果生成的 token 超过允许值，或者轮次（turn）过多，就会被扣分；错误的工具调用也会被扣分。token 使用量减少了 6.5%，正是这一惩罚机制的结果。没有对图像进行训练，如果模型尝试读取图像，就只会返回“此环境中无法使用视觉功能”这样的文本。

与哈维当时相比有所不同的地方

开篇时间差不到两个月，若把它与208期哈维的论点并排放，就能看出差异。哈维以Kimi K3为基础，用约150块B300跑了两个月，用了1,750个模拟律师实际工作的环境，以及律师们编写的7.5万个评分项。那些律师是通过Mercer和Snorkel雇来的。我当时写道：模型是消耗品，工作环境才是资本品。

Paper Instruments并没有用人手打造那份资本品。哈维也明确表示没有使用客户数据，但雇了律师来编写任务和评分项，而Paper Instruments把这一步也交给了模型。出于成本考虑，他们排除了专家编写的任务，88种环境全部靠生成流水线批量产出。两家公司的成本说法因基准不同而无法直接比较。哈维说成本不到主要前沿模型的四分之一，而Paper Instruments只是在自家评测中称为六十分之一。

也有相同之处。两家都在中国的开放权重模型之上用LoRA做了轻量训练，都对少用token的方向给予奖励，都用自己的基准评测自己的模型。而且两家都把最难的工作仍然留给了前沿模型。在Ultramarine的表格中，Fable 5.1和GPT-6 Astra依然位于6分以上。

---

Oswarld视角

在我的工作中，这次发布有两处触动了我。

一个是封闭网络。在为企业供货或者设计AI引入方案时，我一直以“模型总会不断升级”为前提来准备。在搭建公共机构的封闭网络时，我也不是按现在的模型，而是预估6个月到12个月后将出现的开放权重模型大致水平来规划项目。乌尔特拉马林给这个前提增加了一个新变量：与其等待下一个开放权重模型，不如看看把现有开放权重模型打磨到适配某项具体业务的成本，已经降到了什么程度。如果真像公司所说只需30万美元，那在一个封闭网络项目的预算范围内，这就是一个值得纳入考量的数字。不过那笔钱只是训练成本，把总参数3,200亿个的基础模型部署进内网所需的设备是另一笔账。正如我们在第178期看到的，内存消耗跟随的不是激活参数⁷，而是总参数量。

另一个是我自己已经在用的分工方式。把整体规划、编排、以及最初的设计图交给Claude或GPT-6，把耗时长、重复性高的工作转给DeepSeek或GLM，这种做法我已经用了相当一段时间了。即便用Ollama Cloud耗费万亿级token，也比用Claude或GPT-6便宜得多；如果把Skill.md、soul.md这类工具框架文件配置得当，产出的结果也相当可用。所以，“在GLM之上搭建专用业务模型”这个发布，对我来说并不是陌生的组合。只是Paper Instruments在训练过程中，把那段工具框架提示指令精简到了50个token。我在使用时加上的指示，和他们在训练时去掉的指示，本质上是同一样东西，只是时间点不同。等权重公开之后，我首先想知道的是：原样套用我自己的工具框架文件和去掉它时，结果会有怎样的差异。

我一直在说，不是所有人、所有工作都需要超级智能。每种工作和环境都有与之匹配的模型。在第208期中我写过，模型是消耗品，而业务环境才是资本品；而这次发布又往前迈了一步——连环境本身，模型也能批量生产出来了。如此一来，真正留下的资产，就不再是环境本身，而是用来批量生产环境的分类体系、把评分项目当作边界线来运用的技巧、以及在训练过程中拦截投机取巧行为的过滤器。报告称会公开权重和训练代码，但并没有说要公开生成88种环境的流水线。关于韩国的问题也随之发生了变化。在Harvey那件事上，我问的是有没有人把韩国业务整理成1,750个环境；而现在，问题变成了：有没有人会把DART披露材料而不是SEC披露材料当作种子输入，并把韩国律所和会计师事务所惯用的文书规范当作评分项目来撰写。

---

<<<OZ_BODY>>>

结语

Ultramarine展示的是两件事。一是即便是没有标准答案的文档类工作，也可以把评分项当作边界条件，转化为强化学习的奖励；二是他们声称这件事是五个人用 30 万美元做出来的。前者报告里写明了方法，后者则需要等权重开放、由其他人在不同的测试框架（harness）上跑出数字之后才能得到验证。在那之前，“超过了Fable 5”这句话，正确的理解方式应该是：在该公司自家的基准测试中，在六个场景里的四个场景中，超过了设置最贵版本的Fable 5。

---

💬 如果有一款分数相近、价格却只有六十分之一的模型，读者您会换用它吗？如果不会，您认为还需要确认哪些信息？欢迎在评论区告诉我们。

📨 如果您身边有正在为工作评估开放权重模型的同事，请把这篇文章转发给他们。

---

参考资料与延伸阅读

核心来源

• Paper Instruments，“Ultramarine 1 Flash: Scaling Non-Verifiable RL”，2026.10.14。……这是本文的一手资料。评分细则设计、88 种环境、Feather 测试框架、训练设置（LoRA 秩 64）、基准测试表格与评估注释、Project Aurora 的例子都出自这里。
• Paper Instruments，“Ultramarine 1 Flash”产品页面。……“Fable-class”“60x cheaper”这些措辞，以及 API 价格（输入 0.15 美元、缓存输入 0.03 美元、输出 0.50 美元，均为每 100 万 token）、成本对比得分图表都出自这里。
• Z.ai，“GLM-5.3-Flash”模型卡，Hugging Face。……总参数量 3,200 亿、活跃参数量 180 亿、MIT 许可证、原生多模态等基础模型信息都出自这里。
• Runtime Wire，“Paper Instruments launches Ultramarine 1 Flash for professional work”，2026.10。……这是一篇整理了 CEO Danish Kaji 在 X 上发布的推文串的报道。五个人、约 30 万美元、两周后公开权重这些说法都出自这里。

值得一起阅读的往期

• OpenAI投资的法律AI Harvey，底层用的是中国开放权重模型（第208期）……这是今天这篇文章的前篇。讲的是 Harvey 用律师编写的 7.5 万条评分项目和 1,750 种环境，在两个月内打造出一个模型的故事。
• 验证AI结果时应该区分的两种检查（第166期）……这一期梳理了用代码检查和交给模型评估时，能确认的内容有何不同。
• 权重公开了，个人却跑不起来的开放权重模型（第178期）……这一期用数字说明了为什么 MoE 模型的内存需求会跟随总参数量，而不是活跃参数量。

作者 安光涉（Oswarld） 现任世宗大学兼任教授，INLEVEL9 战略顾问。职业经历、研究、著作与近期活动会持续更新在作者简介。 最新动态 · 2026年7月：HEMA-2: A Consolidation-Aware Tri-Memory Architecture with Multi-Channel Scheduling for Lifelong Conversational AI。

📝 术语说明

注释

1. 开放权重（open weights）：将模型训练得到的权重文件公开，让任何人都能下载到自己的服务器上运行和修改的方式。GLM-5.3 Flash 采用 MIT 许可证，因此也允许商业性修改和再分发。 ↩

2. 强化学习（reinforcement learning）：模型执行任务后根据结果获得分数（奖励），再据此修改权重，让得分较高的行为出现得更频繁的一种学习方式。这种方法首先在编程等可以自动评分的任务上取得了成效。 ↩

3. 后训练（post-training）：在已经建成的模型基础上，追加训练特定领域的数据和奖励，使其适配具体用途的过程。这与从零开始训练模型的预训练有所区别。 ↩

4. LoRA（Low-Rank Adaptation）：不改动原模型权重，而是在旁边附加一层薄薄的辅助层，只训练这一层的方法。秩（rank）决定了这个辅助层的大小，成本较低，但原始模型的大部分特性会保留下来。 ↩

5. 评分细则（rubric）：用于评估结果的逐项打分表。每一项都有是否达标和对应分值，在这次的模型中，这份打分表的分数就成为了强化学习的奖励。 ↩

6. 测试框架（harness）：让模型真正投入工作的外部框架。它包含可以使用哪些工具、工具调用结果如何返回、长任务中如何压缩上下文等规则。Claude Code 或 Codex 这类编程智能体就是典型的测试框架。 ↩

7. 活跃参数（active parameters）：混合专家（MoE）结构的模型在处理一个 token 时，实际参与计算的参数数量。GLM-5.3 Flash 在总共 3,200 亿个参数中，只有 180 亿个参与计算，但由于无法预知会调用哪个专家，因此必须将全部参数加载到内存中。 ↩