Z.ai GLM-Legal评测复盘:Harvey LAB全通过率19.2%、单次测试成本仅$0.15
GLM-Legal的意义不在"又多了一个法律模型",而在于它把法律智能体的评测从"能答对口子题"推进到"能跑完端到端闭环并交付可提交的文件"。19.2%的Harvey LAB全通过率看着不高,但它是"全通过"(端到端一次性做对)而非单题正确率,且较基座提升12.5个百分点,方向是对的。最该被记住的是成本:单次测试$0.15对Gemini 4 Argon的$10.55,差不多70倍差距——开放权重加低价,把法律AI的门槛从"大所专属"往下拉。开放权重已经对外发布(不是口头承诺),机构可以把模型私有化部署在自有合规环境,这点和闭源的Meta Muse Wonder正好相反。
事件描述:一个架在GLM-5.3-Flash上的法律智能体
GLM-Legal是Z.ai(智谱)基于GLM-5.3-Flash打造的法律领域智能体模型,2026年10月12日发布。它不是一个单纯的法律问答模型,而是跑"文档摄取→问题抽取→法律分析→交付物"的端到端闭环:喂进去的是合同、卷宗、证据这类原始材料,出来的直接是可用的分析结果甚至修改好的文件。它和AutoClaw(桌面原生智能体平台)协同,官方示例里合同审查能直接用修订模式或批注写入Word,此外还覆盖证据分析、跨境合规规划。基座GLM-5.3-Flash本身就是开放权重模型,GLM-Legal也延续了这一点。
数据呈现:评测与成本
先把核心数字摆出来,口径分层看:
| 基准(口径) | GLM-Legal结果 | 对比/位置 |
|---|---|---|
| Harvey LAB全通过率(官方口径,第三方Vals AI承载) | 19.2% | 较基座+12.5pp;Vals AI榜第7/79 |
| LegalBench(第三方) | 持平前沿闭源 | 与顶级闭源同档 |
| PLawBench(第三方) | 持平前沿闭源 | 与顶级闭源同档 |
| 单次测试成本(第三方口径) | $0.15 | Gemini 4 Argon $10.55 |
图:单次测试成本对比(美元/次,第三方口径,条形按每单位≈$0.15等比映射)
GLM-Legal █ 0.15(约1单位)
Gemini 4 Argon ████████████████████████████████████████████████████████████████ 10.55(约70单位)
说明:成本数据来自第三方评测口径,GLM-Legal单次测试约$0.15,Gemini 4 Argon约$10.55,二者相差约70倍。条形长度按每单位≈$0.15等比绘制,仅用于直观呈现差距量级,不构成精确比例图;实际单价还受调用量、缓存与拒答重试影响。
口径边界:哪些数能直接信,哪些要打折
读这组数字,先把口径摆正。Harvey LAB的19.2%是"全通过率"——要求模型把一道法律任务从摄取到交付一次性做对,不是挑单题算正确率,所以绝对值天然偏低,不能拿去和常规准确率榜单横比。+12.5pp是相对其基座GLM-5.3-Flash的提升,属于同模型家族内的增益,说服力集中在"法律化改造有效"。LegalBench与PLawBench的"持平前沿闭源"是第三方基准上的相对表述,具体版本、是否含拒答干扰未逐条披露,宜理解为"同一梯队"而非"全面超越"。Vals AI的第7/79是其在Harvey LAB子榜的排名位置,样本池与评测设定以该榜单为准。
横向对比:它站在哪一层
把GLM-Legal放进最近的模型坐标里看:和前一天Meta发布的Muse Wonder Full相比,两者都强在法律/专业Agent场景——Muse Wonder Full在Harvey LAB拿到13.1,GLM-Legal是19.2%全通过率,口径不同不能直接相减,但都指向同一结论:专业法律智能体正在从"会查条文"升级到"能交付成果"。区别在商业模式:Muse Wonder Full闭源、无API、只走订阅;GLM-Legal开放权重、可本地部署、按$0.075/$0.25每百万token计费。一个把能力锁进订阅,一个把能力交到你手里,法律这类强合规、强数据主权的场景,后者的权重开放可能更对路。
怎么读这组数据
给想用法律AI的人三点读法。其一,别被19.2%吓到,全通过率本就比单题正确率低得多,看的是"端到端能不能一次做对"。其二,真正稀缺的是成本曲线——当单次法律分析降到$0.15量级,原本只有大所才用得起的深度分析,中小团队也能规模化试错。其三,开放权重是这张牌里最硬的:模型可私有化,数据不出域,这对法律这种把保密当命门的行业,比榜单分数更关键。当然,申请制获取、AutoClaw接入尚在"在即",意味着现在想直接上手还有门槛,实际可用性要等开放节奏。
结语
GLM-Legal最值得记的,不是它又在一个基准上刷了分,而是它把"法律智能体"从演示视频里的聪明问答,拉到了"能改Word、能出交付物、还能便宜70倍"的可用距离。开放权重已到手,剩下的就看Z.ai把申请制和AutoClaw接入铺多快。