Z.ai GLM-Legal评测复盘:Harvey LAB全通过率19.2%、单次测试成本仅$0.15

2026-10-13 08:55 5 阅读

标签

来源:https://z.ai/blog/glm-legal

Z.ai GLM-Legal评测复盘:Harvey LAB全通过率19.2%、单次测试成本仅$0.15

GLM-Legal的意义不在"又多了一个法律模型",而在于它把法律智能体的评测从"能答对口子题"推进到"能跑完端到端闭环并交付可提交的文件"。19.2%的Harvey LAB全通过率看着不高,但它是"全通过"(端到端一次性做对)而非单题正确率,且较基座提升12.5个百分点,方向是对的。最该被记住的是成本:单次测试$0.15对Gemini 4 Argon的$10.55,差不多70倍差距——开放权重加低价,把法律AI的门槛从"大所专属"往下拉。开放权重已经对外发布(不是口头承诺),机构可以把模型私有化部署在自有合规环境,这点和闭源的Meta Muse Wonder正好相反。

事件描述:一个架在GLM-5.3-Flash上的法律智能体

GLM-Legal是Z.ai(智谱)基于GLM-5.3-Flash打造的法律领域智能体模型,2026年10月12日发布。它不是一个单纯的法律问答模型,而是跑"文档摄取→问题抽取→法律分析→交付物"的端到端闭环:喂进去的是合同、卷宗、证据这类原始材料,出来的直接是可用的分析结果甚至修改好的文件。它和AutoClaw(桌面原生智能体平台)协同,官方示例里合同审查能直接用修订模式或批注写入Word,此外还覆盖证据分析、跨境合规规划。基座GLM-5.3-Flash本身就是开放权重模型,GLM-Legal也延续了这一点。

数据呈现:评测与成本

先把核心数字摆出来,口径分层看:

基准(口径) GLM-Legal结果 对比/位置
Harvey LAB全通过率(官方口径,第三方Vals AI承载) 19.2% 较基座+12.5pp;Vals AI榜第7/79
LegalBench(第三方) 持平前沿闭源 与顶级闭源同档
PLawBench(第三方) 持平前沿闭源 与顶级闭源同档
单次测试成本(第三方口径) $0.15 Gemini 4 Argon $10.55

图:单次测试成本对比(美元/次,第三方口径,条形按每单位≈$0.15等比映射)

GLM-Legal        █ 0.15(约1单位)
Gemini 4 Argon   ████████████████████████████████████████████████████████████████ 10.55(约70单位)

说明:成本数据来自第三方评测口径,GLM-Legal单次测试约$0.15,Gemini 4 Argon约$10.55,二者相差约70倍。条形长度按每单位≈$0.15等比绘制,仅用于直观呈现差距量级,不构成精确比例图;实际单价还受调用量、缓存与拒答重试影响。

口径边界:哪些数能直接信,哪些要打折

读这组数字,先把口径摆正。Harvey LAB的19.2%是"全通过率"——要求模型把一道法律任务从摄取到交付一次性做对,不是挑单题算正确率,所以绝对值天然偏低,不能拿去和常规准确率榜单横比。+12.5pp是相对其基座GLM-5.3-Flash的提升,属于同模型家族内的增益,说服力集中在"法律化改造有效"。LegalBench与PLawBench的"持平前沿闭源"是第三方基准上的相对表述,具体版本、是否含拒答干扰未逐条披露,宜理解为"同一梯队"而非"全面超越"。Vals AI的第7/79是其在Harvey LAB子榜的排名位置,样本池与评测设定以该榜单为准。

横向对比:它站在哪一层

把GLM-Legal放进最近的模型坐标里看:和前一天Meta发布的Muse Wonder Full相比,两者都强在法律/专业Agent场景——Muse Wonder Full在Harvey LAB拿到13.1,GLM-Legal是19.2%全通过率,口径不同不能直接相减,但都指向同一结论:专业法律智能体正在从"会查条文"升级到"能交付成果"。区别在商业模式:Muse Wonder Full闭源、无API、只走订阅;GLM-Legal开放权重、可本地部署、按$0.075/$0.25每百万token计费。一个把能力锁进订阅,一个把能力交到你手里,法律这类强合规、强数据主权的场景,后者的权重开放可能更对路。

怎么读这组数据

给想用法律AI的人三点读法。其一,别被19.2%吓到,全通过率本就比单题正确率低得多,看的是"端到端能不能一次做对"。其二,真正稀缺的是成本曲线——当单次法律分析降到$0.15量级,原本只有大所才用得起的深度分析,中小团队也能规模化试错。其三,开放权重是这张牌里最硬的:模型可私有化,数据不出域,这对法律这种把保密当命门的行业,比榜单分数更关键。当然,申请制获取、AutoClaw接入尚在"在即",意味着现在想直接上手还有门槛,实际可用性要等开放节奏。

结语

GLM-Legal最值得记的,不是它又在一个基准上刷了分,而是它把"法律智能体"从演示视频里的聪明问答,拉到了"能改Word、能出交付物、还能便宜70倍"的可用距离。开放权重已到手,剩下的就看Z.ai把申请制和AutoClaw接入铺多快。

相关 AI 工具

LTX LTX 开放权重视频生成基础模型平台(LTX-Video / LTX-2.5,22B 参数):文本/图像一键生成视频与同步音频,提供 API 与 LTX Studio 一站式 AI 电影制作(剧本→故事板→多镜头成片),面向创作者、团队与开发者 Z.ai Z.ai 智谱(Z.AI)面向全球推出的 AI 对话与智能体平台,由 GLM-5.2 驱动:写代码、建网站、长程任务一站式完成,新用户赠百万 Token 智谱 AutoClaw(澳龙) 智谱 AutoClaw(澳龙) 智谱 AutoClaw(澳龙):会替你干活的本地 AI 数字员工,把 AI 助手、办公自动化、浏览器自动化与 IM 协作集成于桌面应用,说清目标即可拆步骤连续执行任务,搭载旗舰模型 GLM-5.3 Black Forest Labs (FLUX) Black Forest Labs (FLUX) Black Forest Labs 推出的前沿多模态生成模型 FLUX 3,在统一框架下支持图像、视频、音频及机器人动作预测,可通过云端 API、自托管开放权重或浏览器 Playground 集成。 蚂蚁百灵 Ant Ling 蚂蚁百灵 Ant Ling 蚂蚁集团自研大模型驱动的 AI 对话平台"百试·百灵":Ling Studio 一站式探索与使用 Ling 系列模型,含 1T 参数 Ling-1T 与原生混合推理 Ling-3.0-Flash Harvey Harvey 面向专业服务(法律/税务/金融)的定制化领域基础模型平台(Harvey,2022 创办、OpenAI 领投、Sequoia/a16z 等):基于客户私有数据构建领域模型,覆盖起草/审查/谈判/检索/税务/编码全工作流,经 Cite 核验来源、Audit API 提供透明度,企业级安全(SOC 2 II / ISO 27001 / HIPAA),对接文档/邮件/EDRM/案管系统;企业定制订阅,无公开免费层
查看全部 AI 工具 →

相关提示词