Unsloth 本地训练决策模型：Clef head + LoRA 把 Qwen3.5-0.8B 三基准从 20.7% 拉到 74.3%

先说几个判断：

第一，这件事真正的卖点不是“又训了个模型”，而是把“决策模型”这件原本要写代码、搭服务的事，压进了普通笔记本的显存里。4GB 就能把 Qwen3.5-0.8B 训成一个可用的结构化决策模型，意味着本地、离线、隐私场景里“每次决策都过一下模型”第一次变得几乎没有门槛。

第二，20.7% 到 74.3% 这个跨度，要读懂它的起点。起点那 20.7% 不是一个“还行”的基线，而是三个分类基准准确率的均值，其中 BANKING77 只有 7%——基本接近随机猜。也就是说，提升来自“让小模型真正学会结构化打分”，而不是刷一个已经半会的任务。

第三，“Clef head”不是 Unsloth 拍脑袋起的名字，它直接复用了 Cloudflare 的 Clef 决策模型头部设计。这意味着它不是在发明新范式，而是在把一套已经被大厂验证过的“读取选项、输出分数”的头部，用 LoRA 低成本地装到任意开源底座上。

第四，速度/显存优势的本质，是“不生成文本”。决策模型只在每个选项上输出一个校准过的概率分数，省掉了自回归解码那一大块算力与显存，这是它能跑在 4GB 上的根本原因，也决定了它只适合“固定选项打分”这类活。

下面把这些点展开。

一、事件描述

Unsloth 在 2026 年 10 月 8 日前后于官方文档发布了“用 Unsloth 训练你自己的决策模型”的教程与实测。它把“给大模型接一个决策头部、用 LoRA 轻量微调、在本地低成本产出结构化决策模型”这件事，做成了开箱即用的流程，并给出了多个基座模型的实测显存与准确率。

先把核心数字用一张表理清楚：

表：Unsloth 本地决策模型训练要点（来源：Unsloth 官方文档，2026-10-08）

需要标清：20.7% 与 74.3% 是三项分类基准准确率的算术平均，不是单一任务；其中 BANKING77、CLINC150 是意图分类数据集，typed-decisions 是类型化决策集，三项难度与起点差异很大，均值只用于直观对比。

二、决策模型到底是什么：把“拍板”从大模型手里卸下来

要理解这次发布，得先分清“生成模型”和“决策模型”。大模型擅长写文章、做长链推理，但软件每天真正需要的很多动作，只是“这条工单归哪类”“这个回复给几分”“下一步继续还是停”。这类任务选项固定、答案短、要快、要便宜。

Unsloth 的做法是：在基座 LLM 后面接一个小头部，对每一个候选项读取 LLM 的输出并打出一个校准过的概率分数，整个过程不生成任何文本。官方明确说这个头部的设计“与 Cloudflare 的 Clef 相同”——Clef 本就是 Cloudflare 推出的决策评分模型，所以 Unsloth 不是在另起炉灶，而是把一套成熟头部用 LoRA 低成本地嫁接到开源底座上。

这件事的趋势意义在于：决策类工作正在从“调旗舰 LLM”退回到“小模型专门拍板”。在 agent 工作流里，海量决策是低创造性的、高频的、对延迟敏感的；与其每次都喊一个几十 B 的旗舰模型，不如用一个不到 1B 的专用模型专门打分。

三、为什么 4GB 显存就能训出来

4GB 这个数字最容易被当成营销话术，但它其实来自三个叠加的工程选择：

• LoRA 而不是全参微调。只训练低秩适配器，基座权重冻结，显存占用天然小一个量级；官方初步实验用 r=64 单 epoch，推荐设置甚至降到 rank=16 并叠加 4-bit 量化。
• 头部不生成文本。普通微调要保留完整词表的解码头，决策头部只需对固定选项输出分数，参数量和激活都小得多。
• 4-bit 量化底座。把基座压到 4-bit，进一步把 0.8B 级别模型塞进消费级显卡。

三者合起来，Qwen3.5-0.8B 在 4GB 显存下训练 42 分钟就能达到 78% 的 Holdout 综合准确率。作为对照，官方同表给出的其他组合是：Qwen3.5-2B 需 8GB、81%、40 分钟；Llama 3.2 3B 需 4.1GB、79%、30 分钟；Gemma 4 E4B 需 14.4GB、77%、49 分钟；已经微调好的 Laya 仅需 2.5GB、77%、10 分钟。

四、20.7% 到 74.3%：这个跨度怎么读

把三项基准拆开看，比看均值更能说明问题。下面这张图给出微调前后的直观对比，数值为官方实测准确率（单位 %），条形按每格约 10% 的比例绘制：

图：Qwen3.5-0.8B 在三个分类决策基准上的准确率，微调前后对比（数据来源：Unsloth 官方文档实测；条形每格约代表 10% 准确率，仅作比例示意）

基准             微调前           微调后
typed-decisions  ███▌ 36%        ███████▎ 73%
BANKING77        ▊ 7%            ███████▍ 74%
CLINC150         ██ 19%          ███████▋ 76%

表：Qwen3.5-0.8B 三基准微调前后逐项（来源：Unsloth 官方文档）

读这张图有两个要点。一是起点不均衡：BANKING77 只有 7%，说明未微调的小模型在细粒度银行意图分类上几乎不会做；二是提升幅度最大的是起点最低的项，意味着 LoRA + Clef head 真正补上的是“结构化打分”的通用能力，而不是记忆某个数据集。三个数字平均后得到宣传里的 20.7%→74.3%，公平地说，这个均值如实反映了“从接近随机到可用”的跨越，但单看均值会抹掉各项的难度差异。

五、支持哪些模型，怎么在本地跑

官方文档列出的可训练基座包括 Qwen3.5 系列的 0.8B、2B、4B，Gemma 4 的 E4B，以及 Llama 3.2 3B；并且说明只要是 Unsloth 支持微调的其他 LLM，理论上都能用同样方式改造。此外，已有的决策模型 Laya、Clef、Jev 也可以继续在其上微调。

数据格式沿用 Laya/Clef 的约定：每一行包含当前状态（state）、待决策的若干问题（questions）以及标准答案（gold answers）。官方把 12 类来源（涵盖新闻分类、常识问答、自然语言推断、情感分析、提示注入检测等）混合进 typed-decisions 做训练。训练后还会用 split_holdout 保留验证集，并调用 calibrate 让输出的概率与真实正确率对齐——这一步很关键，因为决策模型的价值不在“给最高分”，而在“给的分可信”。

本地化路径也给了两条：通过 Unsloth Desktop 的 Train 选项卡点几下，或者走命令行，训练完都能接一个本地的 Decision API 直接调用。

六、几个还没讲透的边界

回到开头，流程很诱人，但有几点要等更多复测：

• 4GB / 42 分钟对应的是 Qwen3.5-0.8B 这一档。换到 Gemma 4 E4B 要 14.4GB，离“笔记本随便跑”就远了；宣传里的“4GB”不能外推到所有基座。
• 推荐设置与初步实验不同。文档初版用 r=64 单 epoch，推荐设置改成了 4-bit、rank=16、两 epoch，两者成绩是否一致需要自己跑一遍确认。
• “设计同 Cloudflare 的 Clef”是架构借鉴，不等于权重或许可证一致。头部思路可复用，但底座模型各自的许可证（尤其 Gemma 4、Qwen3.5 的商用条款）仍要单独确认。
• 基准是分类/意图类，不代表通用决策能力。在路由、分类、优先级这类固定选项任务上有效，但别把它当成能替代通用推理模型。

这些不是挑刺，而是说从“文档里跑通”到“生产里真扛得住”，还差独立复测与许可证核对。

七、结语

Unsloth 在 2026 年 10 月 8 日前后发布的决策模型训练流程，用“Clef head + LoRA”把结构化决策模型的门槛压到了本地 4GB 显存：Qwen3.5-0.8B 在 typed-decisions、BANKING77、CLINC150 三个分类基准上的均值从约 20.7% 提升到 74.3%，Holdout 综合 78%，训练耗时 42 分钟；并支持 Qwen3.5、Gemma 4、Llama 3.2 等多个基座，可经 Unsloth Desktop 或命令行本地训练并接入本地 Decision API。

能确认的是方法（Clef 风格头部、LoRA 轻量微调、4-bit 量化、不生成文本以省显存）、可训练基座列表，以及 Qwen3.5-0.8B 的实测显存与时长；必须标清的是 20.7%→74.3% 是三项准确率均值、起点含 7% 的近随机项，且 4GB 仅对应 0.8B 这一档、推荐超参与初版实验不同、各底座许可证需单独核对。它的真正信号，是“决策模型”这类专用小模型，正从大厂闭源服务走向人人可在笔记本上自训的开放流程。