Liquid AI LFM2.5-24B-A2B:24B MoE设备原生智能体模型,184 tok/s本地跑智能体

2026-10-14 08:40 11 阅读

标签

来源:https://www.liquid.ai/blog/lfm2-5-24b-a2b

Liquid AI LFM2.5-24B-A2B:24B MoE设备原生智能体模型,184 tok/s本地跑智能体

LFM2.5-24B-A2B值得单独记一笔,不是因为它又大了一点,而是Liquid AI把"设备原生智能体"这条线正式做成一个可下载的开放权重模型——总参240亿、每token只激活约20亿的MoE,明摆着是想在笔记本和手机上把"规划→调工具→执行"全程跑完、且不上云。它把上一代的上下文、词表、预训练量全翻了倍,还把回答方式改成了reasoning-only(先想后答)。基准上它挑了自动化这个硬骨头:官方AutomationBench 27.69,直接对标Qwen3.6-35B-A3B的8.72,差距不是一个量级。说到底,这是一次"把智能体能力塞进端侧、还顺手把自动化基准打穿"的尝试,值不值得追,看你对本地隐私和长程自动化的在意程度。

它是什么:LFM2.5家族里最大的一档

LFM2.5-24B-A2B是Liquid AI的开放权重模型,这次是LFM2.5家族里规模最大的一档。名字里的A2B指的是MoE结构:总参数240亿,但每次推理只激活约20亿参数,所以端侧能扛、云端也便宜。它的定位很专一——"设备原生"智能体,强调在本地硬件上持续运行智能体循环,而不是把请求甩回云端。官方给的演示是在一台M5 Max MacBook Pro上用Hermes Agent跑:规划、调工具、推进真实任务,全程在设备内完成,不碰任何云API。从定位到规格,它都比上一代LFM2-24B-A2B更像一台为"本地自动化"调过参数的机器。

技术拆解:四件事变了

先说架构与激活。MoE让它用20亿激活参数去逼近更大稠密模型的能力,代价是总参240亿带来的权重体积——这是端侧部署要算的一笔账。

上下文从32K拉到131K,这是为长程智能体规划准备的:一次会话里要排任务、调多次工具、读长文档,窗口太短就断片。词表从65K扩到128K,近翻倍,对中文、日文这类非拉丁语种的分词效率是直接利好——同样一段中文,词表越大、切得越准,冗余token越少。预训练量从17T涨到33T token,翻了近一倍,是质量底座的加厚。

最关键的行为变化是改成reasoning-only:模型先输出一段思维链,再给最终答案。这在需要多步工具调用的智能体场景里尤其有用——推理过程本身就能把"下一步该调哪个工具"想清楚,而不是一上来就瞎答。

与上一代LFM2-24B-A2B的规格跃迁

指标 LFM2-24B-A2B(上一代) LFM2.5-24B-A2B
总参数 / 激活参数 240亿 / 约20亿(MoE) 240亿 / 约20亿(MoE)
上下文窗口 32K 131K
词表 65K 128K
预训练token 17T 33T
推理模式 非reasoning-only reasoning-only(先思维链后答案)

图:LFM2.5相对上一代的规格跃迁

指标         上一代         LFM2.5
上下文窗口    32K   ████     131K  █████████
词表         65K   ██████   128K  ███████████
预训练token  17T   ███████  33T   ████████████

说明:条形为该指标粗略相对长度(非严格比例),数值以官方发布为准;关键增量是上下文翻约4倍、词表近翻倍、预训练量近翻倍,其中词表扩容直接利好中文、日文等非拉丁语种分词。

基准与性能:把自动化打穿

官方给的硬指标里,最扎眼的是AutomationBench 27.69——这是面向自动化/工具调用智能体的基准,Liquid AI直接拿它和Qwen3.6-35B-A3B的8.72对标,量级差出三倍多。LiveClaw上LFM2.5拿到48.09,对照同款Qwen3.6-35B-A3B的38.19,差距收窄但依旧领先。这类基准的口径要讲清:它们是官方自报、且偏向自动化场景,不是通用聊天榜,不能简单等同于"全面更强"。

端侧吞吐同样被强调:官方称在M5 Max上达到184 tok/s,AMD Ryzen AI Max+ 395上114 tok/s,单张B300高并发能跑21K+ tok/s。前者决定了笔记本上"对话不卡"的体验下限,后者说明了云端高并发部署的成本结构——激活参数小,所以堆并发便宜。

基准 / 性能 LFM2.5-24B-A2B 对照(Qwen3.6-35B-A3B)
AutomationBench 27.69(官方) 8.72
LiveClaw 48.09(官方) 38.19
本地吞吐(M5 Max) 184 tok/s 笔记本端侧
本地吞吐(AMD Ryzen AI Max+ 395) 114 tok/s 笔记本端侧
云端并发(单张B300) 21K+ tok/s 高并发部署

部署与定价

落地链路铺得比较全:原生支持llama.cpp / MLX / vLLM / SGLang / ONNX,基本覆盖了从端侧(llama.cpp、MLX)到服务端(vLLM、SGLang)再到跨平台推理(ONNX)的主流路径,开发者不用自己改适配层。定价上要纠正一个常见误读:它不是输入/输出都1.00美元,而是输入0.10美元、缓存输入0.05美元、输出1.00美元(均按每百万token)。激活参数小带来的推理便宜,在输入端体现得最明显。

局限与边界

几句要留意的边界。其一,AutomationBench 27.69、LiveClaw 48.09是官方自报、且偏向自动化场景的口径,对照的Qwen3.6-35B-A3B 8.72 / 38.19也来自同一组官方表述,跨模型、跨榜单不能简单外推到通用能力。其二,M5 Max 184 tok/s、AMD 114 tok/s、B300 21K+ tok/s是官方给出的特定硬件读数,实际体验受量化精度、上下文长度、并发数影响很大。其三,reasoning-only会先吐思维链,端侧长思维链既吃算力也拖首字延迟,隐私赚到了、响应节奏要自己权衡。其四,开放权重是"已到手"——Hugging Face可下载(基础版与训练后版均开放权重),但具体许可证条款以仓库为准,和只放论文不放权重的"开源"不是一回事。其五,本文激活参数(官方2B / 20亿,而非原始消息所称24.5亿)与API输入价(官方0.10美元/百万,而非原始消息所称1.00美元)以官方博客为准做了更正。

结语

LFM2.5-24B-A2B给端侧智能体这件事递了一个比较完整的样本:MoE把成本压下来,131K上下文和reasoning-only把长程自动化撑起来,词表翻倍照顾了非拉丁语种,基准还顺手打穿了自动化榜。剩下要等的,是社区把它在真机上跑满一轮后,端侧稳定性和思维链开销到底能不能兜住日常使用。

相关 AI 工具

sand-ai sand-ai 全球首个千亿级开源MoE视频生成模型 LTX LTX 开放权重视频生成基础模型平台(LTX-Video / LTX-2.5,22B 参数):文本/图像一键生成视频与同步音频,提供 API 与 LTX Studio 一站式 AI 电影制作(剧本→故事板→多镜头成片),面向创作者、团队与开发者 CubeSandbox CubeSandbox CubeSandbox 是腾讯云开源的、面向 AI 智能体的沙箱运行服务(兼容 E2B SDK):每个沙箱运行在拥有独立内核的 MicroVM 中,实现硬件级隔离;通过资源池与快照克隆消除冷启动,创建速度快至毫秒级;MB 级单实例开销配合内核共享与写时复制(CoW),单机可承载数千实例并支持自动暂停/恢复。安全上提供 eBPF 级沙箱间隔离、内核层出网过滤与内置 L7 安全代理(按域名/路径/方法配置策略并自动注入凭证,密钥对沙箱代码不可见);支持百毫秒级快照、回滚与状态分叉,以及 E2B 兼容的 Volume 存储框架。可通过 Terraform 在腾讯云一键部署生产集群,也支持标准 Kubernetes(预览)与原生 ARM64。 Black Forest Labs (FLUX) Black Forest Labs (FLUX) Black Forest Labs 推出的前沿多模态生成模型 FLUX 3,在统一框架下支持图像、视频、音频及机器人动作预测,可通过云端 API、自托管开放权重或浏览器 Playground 集成。 PartnerStack PartnerStack PartnerStack 是 AI 原生的 B2B SaaS 合作伙伴关系管理(PRM)平台,统一招募、激活、追踪、佣金发放与优化联盟/联名销售/影响者/客户推荐等多类伙伴计划,连接 131K+ 活跃伙伴与 600+ SaaS 品牌;内置 PartnerStack AI 与 MCP,可用自然语言驱动生态运营,伙伴侧通过 Marketplace 免费加入。 Mutiny Mutiny AI驱动的B2B网站个性化平台
查看全部 AI 工具 →

相关提示词