MoE 相关文章
共 17 篇
中电信开源Xing4.0-29B-Intent：意图理解“选择题+填空题”，29B模型把参数一并抽出来
中电信开源Xing4.0-29B-Intent：意图理解“选择题+填空题”，29B模型把参数一并抽出来 开源大模型又多了一种“小而不弱”的打法。10月19日，中电信星辰通用人工智能实验室把意图理解模型Xing4.0-
Meta 开源 Muse Spark Open：816B/42B 激活、1M 上下文，首次双 Mac Studio 本地跑满权重
【摘要】 第一，这不是“又一个小模型端侧跑”，而是开放权重阵营第一次把 800B+ 量级的原生多模态 MoE 推到“桌面本地跑满权重”的门槛。据发布信息与多家媒体，Meta（Meta Superintelligence
Meta开源816B模型Muse Spark Open：8160亿参数跑上Mac Studio，但自报跑分其实落后中国三强
Meta开源816B模型Muse Spark Open：8160亿参数跑上Mac Studio，但自报跑分其实落后中国三强 Meta把一款总参8160亿、激活约420亿的MoE多模态模型Muse Spark Open
Mistral Large 4「Le Chonk」公测：1.05T 原生多模态 MoE、49B 激活、1M 上下文，月末放权重
【摘要】 第一，这是 Mistral 迄今最大的模型，也是欧洲在“开源前沿”牌桌上最重的一次下注。据发布信息与多源核实，Mistral AI 于 2026-10-06 放出 Mistral Large 4（内部代号 M
阶跃星辰Step 5 Preview正式开源：600B MoE只激活27B，冲进全球开源前三，权重已到手
阶跃星辰Step 5 Preview正式开源：600B MoE只激活27B，冲进全球开源前三，权重已到手 9月20日发布时许下的开源承诺，10月15日兑现了——阶跃星辰新一代旗舰基座模型Step 5 Preview正
面壁 MiniCPM-V 4.7 开源：35B-A3B 端侧多模态 MoE 仅 3GB 内存，手机本地跑视觉大模型
【摘要】 第一，这回的“端侧”不是阉割版。面壁智能（MiniCPM）联合 OpenBMB 社区开源 MiniCPM-V 4.7，其中 35B-A3B 被官方与仓库共同称为“首个能在端侧流畅运行且不牺牲性能（无损）的开源
Liquid AI LFM2.5-24B-A2B：24B MoE设备原生智能体模型，184 tok/s本地跑智能体
Liquid AI LFM2.5-24B-A2B：24B MoE设备原生智能体模型，184 tok/s本地跑智能体 LFM2.5-24B-A2B值得单独记一笔，不是因为它又大了一点，而是Liquid AI把"设备原生
腾讯混元 Hy3 开源：295B MoE、21B 激活、256K 上下文，Apache 2.0 可商用
先说几个判断： 第一，Hy3 的“295B”是 MoE 总参，每次只激活 21B，约等于 7.1%。这和近一年开放权重模型的通行做法一致——用稀疏激活把“模型多大”与“推理要算多少”拆开，让一个近 3000 亿参数的模
Mistral Large 4 Le Chonk 发布：1.05T 多模态 MoE，押注网络安全
先说几个判断： 第一，Mistral Large 4 的“大”是 MoE 式的大：1.05T 总参里每次只激活 49B，约等于 4.7%。这和近期一批开放权重模型的路子一致——用稀疏激活把“体量”和“单次开销”分开。
Reflection AI Beam 发布：501B 参数只激活 23B 的开放权重模型
先说几个判断： 第一，Beam 的核心不是“大”，而是“省”：5010 亿总参数里，每个 token 只激活 230 亿，约等于 4.6%。用 MoE（混合专家）把“体量”和“单次要算的算力”拆开，是它敢说对标更大模型
IQuest-Q1开源解析：320B总参15B激活、空格自排障0.704到0.769、交通仓库6分变22秒
【摘要】 第一，至知创新研究院2026-09-28/29开源IQuest-Q1，decoder-only稀疏MoE总参约320B、每token激活约15B、上下文524288、面向代码智能体与多步工具调用，权重上Mode
智谱GLM-5.3-Flash登顶OpenRouter日榜：4.36万亿token背后的低价多模态与1M路线
【摘要】 第一，OpenRouter 2026-09-22日榜显示智谱GLM-5.3-Flash当日调用量4.36万亿token、环比上一统计周期+73%，超过DeepSeek V4.1 Flash、腾讯Hy4 Prev
国产开源模型首次登顶：MiMo-V2.6 AA 46分超KimiK3与GLM-5.3
【摘要】 第一，小米MiMo-V2.6于2026-09-22凌晨发布并开源Pro与Flash两款原生全模态模型，官方口径Pro为1.02T总参数稀疏MoE、激活42B，Flash多源披露309B总参数、激活15B，两者均
DeepSeek V4.1 Flash发布：552B MoE压到8B激活，KV降四分之一HBM，Agent账单先降缓存费
摘要： 第一，V4.1 Flash是DeepSeek全新结构系列最小尺寸，采用552B参数MoE与Causal-Encoder-Decoder非对称架构，输入激活约8B、输出激活约16B，原生多模态视觉理解，不再靠外挂视
GLM-5.3-CYBERSECURITY-FP8上架：社区改权重做红队专用，本地跑先看合规不先看速度
摘要 第一，dealignai于2026年9月8日前后在HuggingFace发布GLM-5.3-CYBERSECURITY-FP8，基座为zai-org/GLM-5.3的FP8量化版JANGQ-AI/GLM-5.3-F
星火 X2.5 发布：293B 全国产算力旗舰 + 端侧首个百万上下文，讯飞把「云端训练、端侧干活」的闭环补上了
核心观点 2026 年 9 月 7 日，科大讯飞正式发布星火 X2.5 大模型——MoE 架构、293B-A30B 参数、基于全国产算力完成全流程训练及推理，重点提升代码和智能体能力，数学、理解
FreeToken：把 MoE 的”闲内存”榨出来，让 RTX 4060 跑起 35B
核心观点 FreeToken 的真正分量不在”又做了一个推理引擎”，而在它戳穿了一个被默认多年的谎言——“显存不够就跑不动大模型”。 它通过 GP