PaperInstruments Ultramarine 1 Flash:在GLM-5.3-Flash上做“非可验证RL”知识工作模型,但权重尚未开源
又一个小团队,想用地道的方式撬开“专业工作”这道缝。PaperInstruments在2026年10月14日发布Ultramarine 1 Flash,一个架在开源底座GLM-5.3-Flash之上、用强化学习后训练出来的“知识工作智能体”。几句判断先说在前面:其一,“开源”二字目前要打个问号——它跑在开源底座上、工具链开源,但Ultramarine自己的权重还“即将开源”,当前只有API,并没有真正开源到手;其二,真正有意思的不是“又一个小模型”,而是它把强化学习从“有标准答案的编码”扩到了“没标准答案的专业工作”(尽调、诉讼、董事会材料),靠合成环境与rubric(评分准则)打分解决奖励难定义;其三,“Fable级能力、约1/60成本”成立,但对比的是老版本Claude Fable 5(57.8),不是更新的Fable 5.1(65.5),后者分数更高;其四,六项基准三项第一、两项第三、一项第二,谈不上“全面领先”,且核心基准PI Knowledge Work(内部自研)尚未独立复现。
它是什么:一个“知识工作智能体”,不是从零训的模型
PaperInstruments把Ultramarine 1 Flash,定位成“面向专业知识工作的智能体(agentic)模型”。说人话:它不是一个从零预训练的大模型,而是在智谱的开源模型GLM-5.3-Flash之上,用强化学习做后训练,专门练“出成品交付物”——Excel工作簿、PPT、Word文档,并且能钻进ERP/MES这类真实业务系统里干活。这一点很关键:它的“便宜”和“专业”,来自后训练(只改部分权重,即LoRA,rank 64),而不是从头造一个模型。据多家报道,后训练成本约30万美元,和预训练动辄上亿完全不是一个量级。该模型于2026年10月14日发布,10月17/18日登Hacker News(HN)首页,引发对小团队用后训练撬动专业工作的讨论。
非可验证RL:把强化学习扩到“没标准答案”的活
强化学习在编码上早就跑通了——单元测试一跑,对错立判,奖励好定义。但专业工作没有标准答案:一份尽调备忘录、一条诉讼时间线、一摞董事会材料,好坏靠的是rubric(评分准则)逐条评判,而不是一个红叉。Ultramarine的做法,是用合成任务把这类“非可验证”工作规模化:训练课程覆盖金融、法律、咨询、运营4个领域、19个专业方向、88类环境;每条任务的二元判定(对/错)汇总成原始奖励,再喂给RL更新。换句话说,它让模型围绕“交付物”拿反馈,而不是只练短答案——这正是它能稳定产出Excel/PPT/Word这类成品的原因。
图:Ultramarine 1 Flash,主张的“非可验证RL”后训练闭环(相对关系,非官方架构图)
合成任务环境(金融/法律/咨询/运营,88类)
│
▼
┌─────────────────────────────────┐
│ 模型试做交付物(Excel/PPT/Word) │
└──────────────┬──────────────────┘
▼
┌─────────────────────────────────┐
│ Rubric(评分准则)逐项打分(二元判定汇总)│
└──────────────┬──────────────────┘
▼
原始奖励 ──► RL更新(LoRA rank 64)
│
回灌下一轮合成环境
说明:图示PaperInstruments主张的“非可验证RL”后训练思路(合成环境加rubric(评分准则)奖励加LoRA(低秩适配)后训练,覆盖无标准答案的专业工作),相对关系,非官方架构图,具体实现以技术报告为准。
基准与成本:六项三项第一,但核心是自研基准
把官方给出的六项知识工作成绩摊开看。Ultramarine 1 Flash在PI Knowledge Work(内部自研)、JobBench、FrontierFinance三项居首;AutomationBench第二(第一是DeepSeek V4.1 Flash)、DiligenceBench与APEX-Agents 1.1两项第三(前两名分别是Gemini 3.8 Flash、Claude Fable 5)。平均比底座GLM-5.3-Flash高4.1点,且少生成6.5%的token。注意一个诚实的注脚:PI Knowledge Work是PaperInstruments自研基准,但它和Artificial Analysis(AA)智能指数的相关系数达到r=0.81(在AA也测过的24个配置上),说明它不是随手编的数字,只是仍缺第三方独立复现。
| 基准 | Ultramarine 1 Flash | 名次/对比 | 说明 |
|---|---|---|---|
| PI Knowledge Work(内部自研) | 59.3($0.13/任务) | 第1 | 官方自研基准,r=0.81与AA智能指数相关 |
| JobBench | 62.9 | 第1 | 公开榜单 |
| FrontierFinance | 53.3 | 第1 | 公开榜单 |
| AutomationBench | 50.2 | 第2(DeepSeek V4.1 Flash 51.3第1) | 公开榜单 |
| DiligenceBench | 50.6 | 第3(Gemini 3.8 Flash 53.1第1、Claude Fable 5 52.9第2) | 公开榜单 |
| APEX-Agents 1.1 | 57.0 | 第3(Gemini 3.8 Flash 64.3第1、Claude Fable 5 63.6第2) | 公开榜单 |
最抓眼球的,是“Fable级能力、约1/60成本”。在PI Knowledge Work上,Ultramarine 1 Flash拿到59.3分,单任务成本0.13美元;对比Claude Fable 5的57.8分、8.19美元——成本确实约1/63,也就是宣传的1/60量级。但要认准两点:第一,对比的是老版本Fable 5,不是更新的Fable 5.1(65.5分、8.64美元),论分数Ultramarine并没追上最新版;第二,Claude Fable 5的57.8是“max reasoning”档,Ultramarine的59.3也是max档,口径一致,这点倒是公平的。底座GLM-5.3-Flash自身在PI Knowledge Work只有52.0分、0.10美元——后训练把分数抬了7分多,成本几乎没变,这才是“后训练杠杆”真正值钱的地方。定价上,API为每百万token输入0.15美元、缓存0.03美元、输出0.50美元(与GLM-5.3-Flash同价),但官方博客以“每任务”计价,每百万token明细来自API文档与报道口径。
| 模型(max reasoning档) | PI Knowledge Work分数 | 单任务成本 |
|---|---|---|
| Ultramarine 1 Flash | 59.3 | $0.13 |
| GLM-5.3-Flash(底座) | 52.0 | $0.10 |
| Claude Fable 5 | 57.8 | $8.19 |
| Claude Fable 5.1 | 65.5 | $8.64 |
| GPT-5.6 Sol | 55.1 | $2.09 |
局限与边界
几句要留白。其一,所谓“开源”,目前是“承诺态”——Ultramarine自身的权重还“即将开源”,官方博客并未直接确认其开源计划,当前只有API,并没有开源到手;它确实跑在开源底座GLM-5.3-Flash上、工具链(rubric包、docx/pptx/xlsx生成)开源,但这是“借开源”,不等于“自己开源”。其二,核心基准PI Knowledge Work是官方自研,虽与AA智能指数r=0.81相关,仍缺权重公开后的第三方独立复现(当前只有API,外界跑不了)。其三,六项成绩里三项第一、两项第三、一项第二,且JobBench/FrontierFinance等公开榜单上的分数由PaperInstruments在自家harness跑出,跨模型严格同条件仍需独立验证。其四,对比锚点是Claude Fable 5(57.8),不是更新的Fable 5.1(65.5),“Fable级”应按版本认领。其五,本文只陈述与分析,不给任何一方选型建议。
意味着什么
Ultramarine 1 Flash最值得记的,不是“又一个小模型吊打巨头”,而是它把RL的边界往前推了一寸:从“有标准答案的编码”扩到“没标准答案的专业工作”。这套打法(合成环境+rubric(评分准则)奖励+LoRA(低秩适配)后训练)成本极低、杠杆极高——30万美元的后训练,就把一个开源底座抬到了接近旗舰的专业工作水位。但它也把“开源”这个词用得很巧妙:底座开源、工具链开源、自己“即将开源”,当前却只有API。等权重真的开源到手、第三方跑出独立数字,这个故事才算闭环。在那之前,把它当“一个聪明的后训练样本”看,比当“开源革命”看,更稳当。