范式智能×睿思智联开源模域ModelSphere:Apache 2.0落地GitHub,集群级纳管异构算力

2026-10-20 11:11 0 阅读

标签

来源:https://github.com/modelsphere/modelsphere

范式智能×睿思智联开源模域ModelSphere:Apache 2.0落地GitHub,集群级纳管异构算力

国产AI基础设施又往开源迈了一步。范式智能技术集团(4Paradigm,港交所代码6682.HK)联合北京睿思智联科技有限公司,在10月16日推出了开源的一站式生产级AI部署平台——模域ModelSphere,并且当天就挂上了GitHub、采用宽松的Apache 2.0协议。几句判断先说在前面:其一,这次的开源是“发布即开源”,代码已经到手,不是“稍后开放权重/代码”的画饼,诚意可以当场验证;其二,它不做模型、也不做训练,而是把算力管理、模型部署、运行优化整合到一个平台,正面拆企业“部署门槛高、芯片生态割裂、生产调优难”这三堵墙;其三,关键要看清层级——模域不替代vLLM/SGLang这类单机推理引擎,而是做集群级纳管,并把华为昇腾、天数智芯、摩尔线程、海光DCU等异构国产算力统一调度起来;其四,那句“极限吞吐较基准提升约285%、性能约4倍”是厂商口径,不是独立基准,开源的诚意可验,性能数字还得自己复现。

它拆的是哪三堵墙:部署、芯片、调优

大模型走到规模化商用,很多企业卡在“最后一公里”。范式智能把痛点归结为四条:资源利用率低、芯片生态割裂、部署门槛高、生产环境调优无从下手。翻译成工程语言就是——企业想用上一个开源大模型,往往要先搞定底层系统适配、资源调度、日常运维这一大摊子事,还得有人懂驱动编译与硬件适配;模型好不容易跑起来,又面临吞吐上不去、首响应慢、集群扩缩容和故障恢复全靠人盯的窘境。模域想做的,就是把这些重复劳动整合成一套统一的部署与管理流程,让企业不必深度掌握底层细节,就能把各类开源大模型安全、稳定、可投产地嵌进核心业务流程。用他们自己的话说:算力进厂、服务出厂,中间的装配、调度、扩缩容、监控告警全部自动完成,让每一片GPU都成为一条高效的Token产线。

开源成色:Apache 2.0,当天上GitHub

先把最实在的一点说清楚:模域是真开源。10月16日发布当天,代码就已在GitHub上线(github.com/modelsphere/modelsphere),采用宽松的Apache 2.0协议,面向企业用户免费开源。在“先发布、后开源”甚至“只发布、不开源”屡见不鲜的当下,这种“发布即开源、代码已到手”的做法值得记一笔——它意味着部署、调度、调优这套工程能力是任何人都能拉下来看、能改、能商用的,而不是锁在厂商手里的黑盒。需要说明的是,“免费开源、面向企业用户”是官方定位,具体功能边界、许可条款以GitHub仓库与随附许可文件为准;至于它到底是“开源版模型广场”还是“部署底座”,不同人口中的叫法不同,按官方表述,它是一个开源、免费的生产级算力部署与大模型推理优化平台。

四大核心能力,各自对应一个痛点

官方把模域的能力归成四条,每一条都对准一个真实痛点,摊开看更清楚。

核心能力 模域做了什么 对应痛点
简化部署 图形化面板+预置部署,内置弹性扩缩容、PD分离、三级KV缓存、断流续写 部署门槛高、环境配置繁琐
自动调优 AutoTune智能调度+自适应负载均衡,降低每Token成本 生产环境调优难
异构算力纳管 融合EngineX,统一/混合调度昇腾、天数智芯、摩尔线程、海光DCU 芯片生态割裂、重复适配
模型快速适配 已适配DeepSeek-V4/V4-Flash、Qwen、Kimi、MiniMax、GLM等 新模型落地慢

这里面最抓眼的是第二条:官方称平台内置AutoTune智能调度与自适应负载均衡后,系统极限吞吐效率较基准提升约285%、性能跃升至原来约4倍,同时优化首次响应速度、降低每Token推理成本。但要把话说全——这是一个“较基准”的厂商口径,基准是什么硬件、什么模型、什么负载、什么对比版本,公开材料里并没有完全交代,第三方也还没见到独立复现,因此这组数字更适合当作“厂商宣称上限”来读,而不是可移植的性能承诺。真正难的其实是第三条:把华为昇腾、天数智芯、摩尔线程、海光DCU这些生态各异的国产芯片,统一甚至混合调度起来,让用户不必为不同芯片重写底层逻辑——这才是“芯片生态割裂”这个老问题的一点解。

关键定位:它是集群大脑,不是又一个推理引擎

理解模域,最容易踩的坑是把它当成“又一个推理引擎”。它的官方定位其实很清楚:与vLLM、SGLang等推理引擎相辅相成,而非替代。vLLM、SGLang这类引擎解决的是单台服务器的计算效率,而模域站在集群架构层做统一纳管——负载与缓存感知的请求路由、统一的KV缓存池、基于服务质量的自动化扩缩容、服务断流自动续写、基于线上数据的自动化性能调优,外加运行监控与服务管理。换句话说,推理引擎让“一台机器跑得更快”,模域让“一堆机器跑得更稳、更省”。这也解释了它为什么要费力气统一异构芯片:只有底层算力能被无差别调度,上层的集群纳管才立得住。下面这张图把它的位置画了出来。

图:模域在AI推理栈里的位置(集群级纳管,而非替代推理引擎)

应用/业务
  ↓
模域ModelSphere:请求路由·统一KV缓存池·自动扩缩容·断流续写·监控·AutoTune
  ↓ 调度
推理引擎vLLM/SGLang(单机计算效率)
  ↓
异构算力:华为昇腾·天数智芯·摩尔线程·海光DCU

说明:图示模域ModelSphere在推理栈中的层级定位(依据InfoQ、凤凰网及范式智能官方公众号等):模域负责集群架构级纳管与优化,vLLM、SGLang等推理引擎负责单台服务器的计算效率,底层统一/混合调度昇腾、天数智芯、摩尔线程、海光DCU等国产异构算力。三者是配合关系而非替代;该定位为厂商与官方口径。

诚实边界

几句话把口径摆正。其一,消息源是10月20日的极新早报,属二次引述;正式发布为2026年10月16日(北京),由范式智能技术集团(4Paradigm,港交所代码6682.HK)联合北京睿思智联科技有限公司宣布,InfoQ、界面新闻、凤凰网、腾讯新闻及范式智能官方公众号等口径一致。其二,开源成色可验证:发布当天已上GitHub、采用Apache 2.0,代码已到手(发布即开源),但“免费开源、面向企业用户”是官方定位,功能与许可边界以仓库及许可文件为准。其三,“极限吞吐较基准提升约285%、约4倍”是厂商宣称,非独立第三方基准,基准配置未完全公开、亦未见独立复现,引用须注明“厂商口径”。其四,华为昇腾、天数智芯、摩尔线程、海光DCU的统一/混合调度为宣称支持,实际效果与稳定性需在具体硬件与负载下验证。其五,本文仅做技术解读与口径澄清,不给任何一方选型或采购建议,是否采用由读者自行判断。

这意味着什么:国产AI infra往“开源底座”走

把模域放回国产AI基础设施的版图里看,它的意义不在“又一个新平台”,而在把vLLM/SGLang之上的那一层——集群纳管、异构算力调度、自动扩缩容、KV缓存治理、自动化调优——用Apache 2.0开源了出来。过去这些工程能力大多锁在各家云和厂商的私有方案里,企业要么买服务、要么自己搭团队复刻;现在至少有了一个能拉下来看、能改的公共底座。对“芯片生态割裂”这个国产算力的老大难,“统一混合调度”也确实是冲着痛点去的。但开源只是起点,不是终点:285%的宣称能不能被第三方复现、异构芯片在真实生产负载下稳不稳、能不能聚起社区把芯片和模型适配持续铺开,这些都要时间检验。国产AI infra不缺模型,缺的恰恰是把算力稳稳变成生产服务的工程底座——模域是不是那块底座,现在下结论还太早,但它至少把这个问题摆到了台面上。

相关 AI 工具

查看全部 AI 工具 →

相关提示词