Solar的42分与Mistral的38分，是用不同的尺子量出来的
Mistral Large 4发布当天，我们将“Solar明明更好”的说法重新放到了同一把尺子上。
商业万亿参数模型问世之日，却引来了一场荒唐的对比
读者，最近法国Mistral AI公开了Mistral Large 4的公开预览版。其总参数量达1万亿，其中单次实际参与计算的激活参数1为490亿。这是一款从底层就支持同时处理文本与图像的模型，API已于今日开放，权重预计在本月底公开。Mistral在官方博客中将该模型戏称为“le Chonk”。翻译过来大致相当于“大块头”，但纵观其体量，这绝非虚张声势。
伴随这一消息，韩国国内也传出了一些抱怨。有人认为Upstage的Solar Pro 4明明是更优秀度模型，在市场上却没有得到公正的评价。Solar正是Upstage打造的韩国自研模型系列。
若是单把数字摆在一起，似乎确实颇具说服力。在独立评测机构Artificial Analysis的智能指数2中，Solar Pro 4在8月拿到了42分，而Mistral Large 4今天拿到了38分。然而，这两个数字根本不是用同一把尺子量出来的。今天我们就先来看看这把尺子是何时改变的，并在对齐标尺之后，再来仔细推敲所谓“公正的评价”究竟还剩下什么。
9月7日，尺子换了
Artificial Analysis 于 9 月 7 日将智能指数修订为 v4.3。将十项测试整合为一个综合分数的机制没有改变，但测试构成有所调整。考察多步骤工具使用能力的 τ³-Banking 被剔除，取而代之的是与 Zapier 联合打造的包含 657 项测试的业务自动化基准 AutomationBench-AA。终端操作测试也从 Terminal-Bench v2.1 升级为 v4.0。该机构解释称，本次修订提高了智能体编码任务的难度，并重新校准了时间与算力上限以及评分标准。非公开测试题目的权重也从 40% 提高至 45%，旨在防止模型通过提前刷题进行针对性训练。
测试变难，同一款模型的分数自然会下降。我们也没能避开这一变化的影响。在 8 月 5 日的第 178 期中，我们曾记录 GLM-5.2 的分数为 51 分，但如今在 Artificial Analysis 页面上，GLM-5.2(max) 的得分显示为 34 分。并不是模型在两个月内变差了，而是尺子的刻度变了。
Solar Pro 4 也是如此。42 分是 8 月 12 日在指数修订前获得的分数，而在同一机构的页面上，如今显示的数值是 28 分。Mistral Large 4 的 38 分则是修订后使用 v4.3.2 版本测得的分数。如果放在同一把尺子下衡量，两者的排位反而是颠倒的。顺便提一句，38 分与开放权重3阵营的 DeepSeek V4.1 Flash（39 分）处于相近水平。
不过这 28 分旁边附有星号
如果话只说到这里，对 Solar 并不公平。目前页面上的 28 分旁边带有星号，并注明这是预估值、独立评估即将发布。这意味着尚未用修订后的测试对 Solar Pro 4 进行直接重测。在同一张表格中，Solar Mini 4 的 24 分则没有星号。
Upstage 在介绍 Solar Pro 4 时，着重强调了三项重大提升。终端任务（Terminal-Bench v2.1）从 12 分提升至 57 分，多步骤工具调用（τ³-Banking）从 9 分提升至 23 分，长文本推理（AA-LCR）从 31 分提升至 71 分。其中，前两项测试在 9 月的修订中被移除或替换成了其他版本。也就是说，成绩涨幅最显著的科目已经在考卷中被替换了。在新考卷上是否还能表现得同样出色，只有重新测过才能知晓。
Solar Pro 4 的设计中还有一个值得关注的地方。Upstage 说明称，他们让该模型在缺乏依据时明确回答无法确认，而不是编造答案。Artificial Analysis 在 8 月的评估中也确认了 Solar Pro 4 的知识可信度得分大幅上升，但同时指出，这种提升并非源于“知道得更多”，而是源于“不知道时克制了作答”。这两种说法并不矛盾。在诸如合同审查这类哪怕一个错误数字都会波及后续流程的场景中，这种特性正是其价值所在。只不过，很难以此作为“知道得更多”的依据。
因此，Solar 方面完全可以提出合理的诉求。那就是要求用同一把尺子重新丈量。这与“明明是 42 分为什么不承认”有着本质的不同。
在排行榜之外，考卷已经交到了他们手中
在基准排行榜之外，另一种形式的评估已经给出了结果。《首尔经济》于10月5日独家报道，Upstage被选为韩国教育课程评价院“基于AI的高考英语自动试题生成功能开发项目”的第一顺位候选机构。共有13家企业参与了此次竞标，而评价院将综合评分的90%分配给了技术评估。换言之，这是一场完全凭技术而非价格决出胜负的评审。目前双方尚未正式签署合同，目标开发节点定在明年5月。若进展顺利，最早在明年的高考命题过程中就能投入使用。
[独家] Upstage将承担高考英语试题AI出题工作[独家] Upstage负责高考英语试题AI出题在这个项目中，AI承担的角色不是答题者，而是出题者。只要设定好课程达成标准、题型、词汇水平和素材主题，系统就能自动生成阅读文本、选项、正确答案及解析，并利用往届考生的历史数据推算新题目的预期正确率与各分数等级比例。分别负责试题生成、验证、相似度与抄袭检测、难度预测的多个智能体彼此传递结果，以此反复打磨试题。评价院在招标阶段便明确要求，系统架构必须能够扩展至高考的所有科目领域。
此前一直用基准测试卷接受打分的模型公司，如今却着手构建国家级考试的命题流程。智能指数追问的是这个模型能考多少分，而评价院关心的则是：在特定限制条件下，它能否胜任高考英语试题的生成与审核工作？业内普遍认为，Upstage持续自研Solar模型的深厚技术积累在此次入选中发挥了关键作用。不过报道中并未透露该系统具体会采用Solar的哪一款模型。
Mistral主打的卖点在分数之外
反过来看，如果只用智商指数的一行数字去评判 Mistral Large 4，同样会遗漏许多东西。Mistral 在发布公告中下力气解释的，并不是分数，而是在哪里、由谁来运行这个模型。
该模型是在 Mistral 位于欧洲的自营数据中心内，完全使用 3,800 块英伟达 Grace Blackwell GPU 从头训练而成的，预览版也是在同一套基础设施上提供服务。他们明确表示，欧洲的部署不依赖其他数字服务运营商，而是在欧洲法律框架下，由自己自始至终直接运营。训练数据涵盖了所有欧盟官方语言，总计超过 160 种语言。用 Mistral 自己的话说，在欧美推出的开放权重模型中，它是遥遥领先的，并且具备与全球顶尖开放模型一较高下的水平。再加上公开权重、允许客户直接部署到自己服务器上的承诺，Mistral 卖的其实是“在欧洲境内闭环的 AI”。
网络安全成绩也要放在同样的语境下去理解。在重现实际开源软件漏洞并完成补丁修复的测试中，它以 82% 的成绩位居所有模型第一；而在由 40 道网络安全竞赛题目构成的 Cybench 中，它的解题率达到了 93%。不过，Mistral 自己也补充说明了一点：Claude Opus 5.5 和 GPT-6 Astra 等主流闭源模型在该重现与打补丁测试中得分接近于零，原因在于它们直接拒绝执行任务。因此这个第一名里，既有能力上的差异，也夹杂着拒绝策略的差异。
Mistral 恰恰将这一点作为自己的销售逻辑。防守方同样需要先验证缺陷是否属实，如果在事故响应过程中因为供应商的政策而导致功能受限，这种限制本身就会成为安全风险。与此同时，他们也说明，该模型对恶意网络请求的拒绝率要高于其他开放模型。这种主张的本质在于：什么能做、什么该拒绝，应当由使用该模型的组织自身的策略来界定，而不是由供应商越俎代庖。
成本方面的数字就没那么光鲜了。输入每 100 万 token 为 1.36 美元，输出每 100 万 token 为 4.18 美元；按 Artificial Analysis 的基准计算，解决一个指数任务平均花费 1.13 美元。据报道，在解完整套指数题目的过程中，它消耗了约 2 亿个输出 token，而类似模型的中位数是 8,100 万个。这意味着，在做同样事情的时候，它算是个“话比较多”的模型。
Oswarld视角
我在规划面向企业交付或 AI 落地咨询时，始终以“模型总会不断升级”为前提来做准备。在搭建公共机构的隔离内网5时也是如此。我并不是基于眼下现有的模型，而是去预估 6 到 12 个月后推出的开放权重模型大致能达到什么水平，并以此来设计项目。
而且我常说一句话：并不是所有人、所有工作都需要超级智能。不同的工作和环境，自有与之契合的模型。
如果以此为基准来看，“明明白道更优秀，为什么不选”这一疑问在一开始就放错了比较的维度。 在隔离内网项目中，首先要确认的并不是排行榜上高出的 4 分，而是模型权重能否引入内网、许可证允许何种权限，以及能否用我们的文档和语言完成实际工作。Solar Pro 4 是一款通过 API 调用的商业模型，本地化部署则需要另行咨询。Upstage 的开放权重系列另有 Solar Open 2。若要与 Mistral Large 4 放在同一个维度比较，目前更合适的对手其实是 Solar Open 2，而非 Solar Pro 4。
因此我认为，与其抱怨韩国本土模型被低估，不如直接展示它在何种任务、何种条件下能够做到何种程度，这才能真正改变外界的评价。 韩国评价院的项目就是这样一个案例。它靠的不是排行榜上的 4 分，而是在命制并验证高考英语试题这一具体任务面前拿下了技术分。
Upstage 公开的韩语法律、医疗及办公场景得分可以作为证明的素材。不过，这些分数是在 Upstage 内部环境下测得的。如果在其他人复现同样的测试时依然能立得住，那么届时无须任何抱怨，数据本身就会替它说话。
结语
排行榜上的数字都附有日期和版本。在看到对比两款模型的陈述时，只要核对这两项是否一致，以及该数字究竟是实测值还是推算值，就能过滤掉今天这样的大部分误解。
💬 有没有哪款模型的排行榜名次与您的实际使用体验大相径庭？请留下一句话分享是哪款模型。
📨 如果身边有正在公司内部制作模型对比表的同事，不妨把这篇文章转给他们。
参考资料与延伸阅读
核心来源
- Mistral AI, “Introducing Mistral Large 4”，2026 年 10 月 6 日。··· 参数配置、训练基础设施、网络安全得分与闭源模型的拒绝说明、价格、强化学习规模均出自该公告。
- Artificial Analysis, “Announcing the Artificial Analysis Intelligence Index v4.3”，2026 年 9 月。··· 可从中查证 9 月修订中删除了什么、加入了什么，以及未公开测试比重发生了怎样的变化。
- Artificial Analysis, “Solar Pro 4 模型页面”，2026 年 10 月 6 日查阅。··· 包含 28 分为估算值的标注以及基于 v4.3.2 的基准说明。
- Artificial Analysis, “Upstage 托管模型对比”，2026 年 10 月 6 日查阅。··· 可在同一表格中查阅 Solar Pro 4、Solar Mini 4 和 Solar Pro 3。
- Artificial Analysis, “Upstage Solar Pro 4: Benchmarks and analysis”，2026 年 8 月。··· 为修订前指数中得分为 42 分，以及知识可靠性提升源于模型克制回答这一分析的出处。
- Upstage, “Solar Pro 4: 坚持到底完成实务的 Agent 模型”，2026 年 8 月 11 日。··· 载有三项改进指标、避免无依据回答的设计、与 Solar Open 2 的分工角色以及内部评估表。
- Ryu Seok（音译），“[独家] Upstage 将承担修能英语试题 AI 出题”，Seoul Economic Daily，2026 年 10 月 5 日。··· 为评价院项目中选首选谈判对象、13 家企业投标、技术评估占 90%、多智能体出题架构的出处。因属独家报道，评价院官方公告尚未确认。
背景知识
- Artificial Analysis, “DeepSeek V4.1 Flash 发布页面”，2026 年 9 月。··· 为与 38 分相对比的 39 分的出处。
- Trending Topics, “Mistral Large 4 on Artificial Analysis”，2026 年 10 月 6 日。··· 报道中包含了约 2 亿个输出 Token 与中位数 8100 万个的对比。
往期推荐
- 第 170 期《人工智能基准测试现状堪忧？》··· 探讨了比起分数更应关注评分流程。而今天的文章探讨的，正是当评分流程发生变化时会发生什么。
- 第 178 期《下载得到，只是跑不起来》··· 探讨了权重开源与实际运行能力之间的鸿沟。今天提到的 GLM-5.2 的 51 分就出自该期。
- 第 146 期《Fable 去不了中国，GPT 却可以》··· 探讨了究竟是谁在真正掌握主权 AI 的文章。
📝 术语说明
注释
-
激活参数（Active Parameters）：采用混合专家（MoE）架构的模型在面对每个问题时，仅从全部参数中挑选一部分“专家”参与计算。这部分单次调用时使用的参数即为激活参数。即便拥有 1 万亿参数的模型，一次也只调用 490 亿个，因此相比其体量，计算成本大幅降低。 ↩
-
Artificial Analysis 智能指数（Intelligence Index）：独立评估机构 Artificial Analysis 将多项测试分数进行加权平均后得出的 0～100 分综合得分。由于构成测试的基准发生变化时，同一模型的分数也会随之改变，因此在看分数的同时必须结合具体版本。 ↩
-
开放权重（Open Weights）：指公开训练完成的模型权重文件，允许任何人下载并在自有服务器上运行的模型。其开放范围与连同训练数据和代码一并公开的开源（Open Source）有所不同。 ↩
-
强化学习（Reinforcement Learning, RL）：模型自主尝试执行任务，并在结果良好时获得奖励的学习方法。随着模型能力变强，可以为其提供更具挑战性的任务，因此常用于进一步提升已具规模的模型能力。 ↩
-
隔离网络（气隙系统，Air Gap）：与外部互联网实现物理隔离的网络。多用于公共机构或对安全性要求极高的组织，由于无法调用外部 API，因此必须将模型直接部署在内网环境中。 ↩
你的观点会成为下一期的线索
欢迎留下你的经验与看法。