📄

HAL-X 开源 THX-01:322M 非自回归决策模型,单次前向 10ms 出结构化决策+校准概率

2026-10-12 09:05 👁 2 阅读

🏷️ 标签

来源:https://huggingface.co/hal-x/thx-01

先说几个判断:

第一,THX-01 把“给 Agent 做决策”从巨型 LLM 里拆出来,做成一颗 322M 的专用零件。Agent 不总需要生成文字,更多时候只需要“选个动作、并知道有多确定”。

第二,非自回归是它快到 10ms 的根本。一次前向就吐出结构化决策和校准概率,不用逐 token 生成,所以能在循环里被高频调用,甚至跑在手机上。

第三,“校准概率”往往比“答案”更值钱。Agent 得知道自己什么时候没把握,才能决定兜底或求助,而不是盲干。

第四,Apache-2.0 全开放、免密钥免费 API、pip 一行装、手机可跑——这套“小、快、开、本地”的组合,正是端侧 Agent 缺的那块。

下面展开。

一、事件描述

HAL-X AI(总部巴库)在 10 月 10 日开源了决策模型 THX-01:一个 322M 参数的多语言非自回归决策模型。它的主打场景不是写文章,而是替 Agent 做“决策”——给定一段状态(消息、观测)和一个带类型的提问,单次前向推理就返回结构化答案与校准概率,延迟约 10ms。模型以 Apache-2.0 完全开源,权重、源码与训练脚本全给,支持 18 种训练/后训练语言,托管 API 免密钥免费,pip install thx01 即可调用,官方称可在智能手机本地运行。

先把关键参数用一张表理清:

维度 数值 / 表现 口径
模型 THX-01(HAL-X AI,巴库) 官方 + 报道
参数 322M,非自回归决策模型 消息 + 报道
推理 单次前向 → 结构化答案 + 校准概率,约 10ms 消息 + 报道
决策类型 选择分类 / 二元是非 / 有序评分 / 原文摘录(span) 消息主体
授权 Apache-2.0 完全开源(权重 + 源码 + 训练脚本) 消息 + 官方
语言 18 种训练 / 后训练语言 消息 + 报道
部署 托管 API 免密钥免费;pip install thx01;可手机本地运行 消息 + PyPI

表:THX-01 发布要点(来源:消息主体 Hugging Face「搜索 THX-01」、报道 clawdbytes.com;PyPI thx01、Hugging Face 仓库、dev.to、allagent.wiki、AnyRouter 2026-10 报道印证)

需要标清:Hugging Face 上的具体组织/仓库以站内搜索 “THX-01” 为准(公开页面出现 doofz/THX-01 与 hal-x/thx-01 等);18 种语言侧重阿塞拜疆语与多语鲁棒性,各语言质量未必同质;10ms 为算力充足时的参考值。

二、不是又一个 LLM:Agent 的“动作选择器”

大模型的主业是生成文本,但 Agent 在运行循环里反复要做的,往往不是“写一段”,而是“下一步选哪个动作”。THX-01 把自己定位成这块专用零件:喂进去一个状态(比如一条用户消息、一段环境观测)和一个带类型的提问,它一次性返回“决策 + 置信度”,而不是一堆自由文本。

这正是“把对的事交给对的模型”。复杂推理、写代码、长文总结交给大模型;而高频的“该分类成 A 还是 B”“这条是不是违规”“给这段打几分”“答案在原句哪”这类动作选择,用一颗 322M 的小模型更划算。THX-01 赌的就是:Agent 世界里,决策原语会被拆出来,独立成一个小而专的组件。

三、非自回归 → 10ms:快到能进决策循环

自回归模型是逐 token 生成,串行走,自然慢;非自回归则一次前向就产出整段结构化输出。THX-01 走的是后者,所以才敢标“约 10ms”。

快的意义,是它能进 Agent 的实时循环。一个每步都要“想一下”的 Agent,如果每步都调一次云端大模型,延迟和成本都扛不住;但如果一个 10ms 的本地决策能先拍板大部分小事,只有拿不准时才上升给大模型,整个系统的节奏就顺了。这也是它宣称“可跑在智能手机上”的底气——小模型 + 单遍推理,本就为端侧而生。

四、校准概率:让 Agent 知道“我不确定”

很多模型会给你一个答案,却不告诉你它有多确定。THX-01 的卖点之一是返回“校准概率”——理想情况下,它说 80% 可信,真实准确率也接近 80%。

这点对 Agent 是分水岭。有了可信的置信度,系统才能在低把握时兜底:问人、换工具、多收集点信息,而不是拿一个没谱的判断去执行动作。当然要冷静:校准是训练目标,真实分布外(out-of-distribution)的输入上,标称概率未必还准。把它当成“有依据的把握”,而不是“绝对的可靠”,才稳妥。

五、四种决策类型:Agent 常做的原语

THX-01 支持的决策类型,几乎覆盖了 Agent 最常见的几类“小判断”:

  • 选择分类:从给定选项里挑一个(路由、意图识别);
  • 二元是非:是或否(过滤、校验、触发条件);
  • 有序评分:打 1~5 这类有序分(严重度、情绪、优先级);
  • 原文摘录:从文本里抽出答案所在的片段(证据型回答)。

这四类的共同点是“结构化、可机器消费”,而不是“给人看的散文”。它是一套 Agent 动作原语工具箱,不是一个聊天机器人——这一定位,决定了它和通用助手是互补,而非替代。

六、小、快、开、本地:可用门槛压到地板

THX-01 在“易用”上做得很极致:Apache-2.0 把权重、源码、训练脚本全开源,意味着可审计、可改、可自训;18 种语言覆盖多语场景;托管 API 免密钥免费,想试立刻能试;pip install thx01 一行接入;还能在手机本地跑,等于隐私与零云成本兼得。

这套组合拳,正是端侧 Agent 长期缺的那块拼图:一个足够小、足够快、完全开放、能离线的“决策组件”。反观拿 GPT 或 Claude 给每个微小决策买单,要付的是成本、延迟和把数据送上云端的代价。THX-01 把这笔账直接抹掉了一截。

七、几个还没讲透的边界

回到开头,这颗小模型很有想法,但有几点要心里有数:

  • 322M 意味着能力有天花板:它适合高频决策原语,不适合复杂多步推理或知识型问答;把它当通用助手用会失望。
  • 10ms 依赖硬件:算力充足的机器上才接近这个值,手机端实际更慢,以实测为准。
  • 校准概率是训练目标:分布偏移、领域切换时,标称置信度可能失真,关键场景仍需验证。
  • 18 语言质量不均:报道提到其侧重阿塞拜疆语与多语鲁棒性,非英语未必达到同等水平;具体清单以 Hugging Face / PyPI 为准。

八、结语

HAL-X AI 在 10 月 10 日开源 THX-01:一颗 322M 的多语言非自回归决策模型,单次前向约 10ms 产出结构化决策与校准概率,支持分类、二元、有序评分与原文摘录四类,Apache-2.0 全开放,覆盖 18 种语言,托管 API 免密钥免费,pip 一行装,官方称可手机本地运行。

真正值得记的,不是“又出了个小模型”,而是它把 Agent 最频繁的“选动作”拆成了一颗专用、可控、可本地跑的零件。 当 Agent 学会用 10ms 和一颗校准过的概率决定下一步,云端大模型就不必为每个微小决策买单——前提是看清它 322M 的能力边界,以及那个校准概率在真实分布下到底有多可信。