Mistral发布Voxtral 3:转写+合成+LiveKit语音Agent SDK,TTS $13/百万字符

2026-10-21 10:11 0 阅读

标签

来源:https://mistral.ai/news/voxtral-3/

Mistral发布Voxtral 3:转写+合成+LiveKit语音Agent SDK,TTS $13/百万字符

语音Agent的仗打到2026年,路线开始分岔。Mistral在10月20日抛出了Voxtral 3——但它不是“又一个语音大模型”,而是一整套语音栈:转写(Small/Mini Transcribe 3、Mini Transcribe Realtime 3)+合成(Mini TTS 3,也对外叫Voxtral Speech 3)+一个基于LiveKit的语音Agent SDK,把听、想、做、说串成一条实时流式流水线。几句判断先说在前面:其一,Mistral选的是“模块化拼接”路线——用转写、推理、合成三件套拼出语音Agent,而不是Eleven Realtime那种端到端speech-to-speech;好处是每一环都能单独换,代价是链路更长、延迟更吃工程;其二,定价是明牌:批量转写$0.0035/分钟起,合成$13/百万字符,整套语音Agent API $0.04–0.08/分钟,Mistral想把“高质量语音”从奢侈品压成基础设施;其三,“主权部署”是它对企业(尤其合规敏感的联络中心)的抓手——既能走Mistral的欧盟托管API,也能整体自部署;其四,数字要看清口径:50+语言主要指转写,合成是35+语言/50+方言,4.1% WER是厂商自报,“单轮500ms以内”也是官方口径,好不好要看第三方复现和真实负载。

它是什么:一整套语音栈,不是一个模型

先把Voxtral 3的构成说清楚,因为“模型族”这个词容易让人以为只是换了个大模型。按官方口径,这次发布的是几块拼在一起:转写侧有Voxtral Small Transcribe 3和Voxtral Mini Transcribe 3(批量),以及面向实时场景的Voxtral Mini Transcribe Realtime 3;合成侧是Voxtral Mini TTS 3,对外也常称Voxtral Speech 3;再把它们和某个推理模型缝起来的,是基于LiveKit的语音Agent SDK。Mistral给这套东西的描述是:把听、想、做、说合成一条可实时运行的流水线——转写模型负责“听”,推理模型负责“想”和调用工具,合成模型负责“说”,SDK负责把它们按流式方式串起来。换句话说,它卖的不是一个“更聪明的语音大脑”,而是一条“拿来就能跑”的语音Agent产线。

模型清单与定价:把“高质量语音”压成基础设施

定价是这次最直观的一张牌,官方给出的价目表如下。

模型/能力 用途 官方定价
Voxtral Mini Transcribe 3 批量语音转写 $0.0035/分钟
Voxtral Small Transcribe 3 语音转写(质量档) $0.0040/分钟
Voxtral Mini Transcribe Realtime 3 实时语音转写 $0.008/分钟
Voxtral Speech 3(TTS) 语音合成 $13/百万字符
语音Agent API(搭Mistral Small 4推理) 整套语音Agent $0.04/分钟
语音Agent API(搭其他推理模型) 整套语音Agent $0.08/分钟

几个读法。第一,转写按分钟计费,而且分档清楚:Mini批量$0.0035/分钟最便宜,Small $0.0040/分钟是质量档,实时Mini $0.008/分钟最贵——实时就要为“即时”多付一倍多。第二,合成按字符计费,Voxtral Speech 3统一$13/百万字符,且批处理和实时走同一套API,省一套对接。第三,最省事的是“整套语音Agent API”:直接按分钟打包(搭Mistral自家Small 4推理$0.04/分钟,换别的推理模型$0.08/分钟),等于把转写、推理、合成、编排一并卖。把这几个数字和Eleven Realtime那类端到端方案放一起看,Mistral的打法很明确:不追求单点最猛,而是用“模块可换+明码标价+能自部署”把总拥有成本压下来——所谓“可负担的高质量语音栈”,重心其实落在“可负担”这三个字上。

流水线怎么跑:听→想→做→说

把这几块拼起来后,一次对话大致是这样流动的。

图:Voxtral 3的实时语音Agent流水线(听→想→做→说)

用户语音
  ↓ 转写(Transcribe 3,50+语言)
文本
  ↓ 推理(Mistral Small 4等LLM)+ 工具调用
回复文本 / 动作
  ↓ 合成(Speech 3,35+语言·50+方言)
回复语音(流式,单轮<500ms)

说明:图示Voxtral 3语音Agent流水线(依据Mistral官方定价表与多家媒体报道):转写模型把语音转文本、推理模型思考并调用工具、合成模型把回复转回语音,由基于LiveKit的语音Agent SDK串成一条实时流式流水线;Mistral称单轮延迟在500ms以内。延迟与多语言数字为官方口径,实际受网络与部署方式影响。

关键在于“缝起来”的这层——基于LiveKit的语音Agent SDK。它负责在转写、推理、合成之间做实时编排:边转写边送推理、推理边出文本边送合成、工具调用该插就插,还要处理打断、轮流这些语音特有的麻烦。Mistral称单轮延迟能压到500ms以内。这也解释了它为什么选LiveKit而不是自己从零写一套实时传输——实时音视频的传输、抖动缓冲、打断恢复这些脏活,交给成熟的SDK更划算,自己只专注模型和编排。代价是链路被拉长:转写、推理、合成三段各自耗时,延迟是加出来的,不像端到端speech-to-speech那样理论上一步到位;所以“500ms以内”能不能兑现,很吃工程调优。

语言、延迟、基准与主权部署

还有几组数字要分开说,因为它们口径不同。语言上,转写支持50+种语言,官方特别提到覆盖24种欧盟官方语言和不少低资源的亚洲、印度语言;合成(Speech 3)是35+种语言、50+多种方言,还带情感自适应。可见“50+语言”主要是转写的成绩,合成没那么广,别混着念。延迟上,官方口径是单轮亚秒级、500ms以内,这是厂商说法。基准上,AICoder转述的厂商自报是:Voxtral Small Transcribe 3在45种FLEURS语言上的macro WER为4.1%(强制语种)/4.0%(推断语种),称与Microsoft AI Transcribe 2持平、优于Scribe v2(4.9%)和Whisper large-v3(16.0%/14.9%)——这是厂商自报,不是独立第三方评测,引用要留神。最后是Mistral的差异化牌“主权部署”:这条流水线既能走Mistral的欧盟托管API(也有US/Global),也能整体自部署到企业自己的机房,数据不出门。对联络中心、客服台这类对延迟和数据合规都敏感的场景,这一条往往比模型分数更决定买不买。

诚实边界

几句话把口径摆正。其一,来源为Mistral官方(公告与定价表)及第三方报道,发布时间2026-10-20;官方公告页暂缺直接核对,定价等数字以Mistral官方定价表为准,并经多家媒体交叉印证。其二,定价为官方口径:转写$0.0035/分钟起(实时$0.008/分钟),合成(Voxtral Speech 3)$13/百万字符,语音Agent API $0.04/分钟(搭Mistral Small 4)或$0.08/分钟(搭其他推理模型);实际计费可能随地区与用量变化。其三,“50+语言”主要指转写,合成为35+语言、50+方言。其四,“单轮500ms以内/亚秒级”为厂商口径,实际受网络、部署与并发影响。其五,“FLEURS45语言macro WER4.1%、与Microsoft AI Transcribe 2持平、优于Whisper large-v3”等为厂商自报基准,非独立第三方评测,引用须注明。其六,本文仅做技术解读与口径澄清,不给任何一方选型或采购建议。

这意味着什么:语音Agent基建开始分岔

把Voxtral 3和前几天的Eleven Realtime放一起看,会发现语音Agent的基建正在分成两路:一路是端到端speech-to-speech,把识别、推理、合成焊进一个模型,赌的是“一步到位的顺”;另一路就是Mistral选的模块化拼接,转写、推理、合成各是一环,赌的是“每一环都能换、总成本可控、还能自己部署”。两条路没有绝对优劣,但Mistral的赌注押在了一个很具体的判断上——企业语音(联络中心、客服、预约这类“电话入口”)还没被充分瓜分,而撬动它的杠杆不是模型分数,是价格、合规和部署自主权。低价+欧盟托管/自部署,正是冲着数据敏感型企业去的。当然,模块化路线的软肋也实在:链路更长,延迟和一致性更吃工程;4.1% WER、500ms这些漂亮数字都是厂商口径,到底能不能在真实噪声环境、真实并发下兑现,得靠开发者自己上手和第三方评测来回答。语音这摊水,现在才刚烧开。

相关 AI 工具

ElevenLabs ElevenLabs AI语音合成与声音克隆平台 Notta Notta AI 语音转写与智能会议记录平台(Notta):将会议/访谈/讲座音频转为可搜索文本并自动生成纪要摘要,支持 58 种语言转录与翻译、Notta Brain 跨会议搜索提取洞察、5 秒生成 PPT/信息图可视化、AI 笔记与行动项跟踪,集成 Zoom/Teams/Google Meet 及 Notion/Slack/Salesforce,安全合规(SOC-2 Type II/GDPR),宣称准确率 98%+ Amazon Bedrock Amazon Bedrock Amazon Bedrock 是 AWS 提供的、用于在生产规模构建生成式 AI 应用与智能体的全托管平台,汇聚来自 Anthropic、Meta、Mistral、Cohere、Stability 及亚马逊自研等数百个基础模型,并提供模型评估与选型、AgentCore 智能体编排、知识库 RAG、微调、企业级护栏(Guardrails)与成本优化(模型蒸馏、提示缓存、智能路由),服务全球超 100,000 家组织,按调用量计费且新用户可获最高 200 美元试用抵扣。 TurboScribe TurboScribe 由前 Meta AI 工程师打造的 AI 语音转写工具:基于 OpenAI Whisper,99.8% 准确率,支持 98+ 语言转录与 134+ 语言翻译、说话人识别、AI 音频降噪恢复,无限版每月可转 720 小时,导出 SRT/VTT/DOCX/PDF 等 Mistral Large Mistral Large Mistral AI的旗舰级大语言模型 Memo AI Memo AI 本地运行的 All in One 音视频处理工具:音视频转文字(支持 YouTube、播客、本地文件)、字幕翻译(90+ 语言)、语音合成、AI 摘要与思维导图,强调数据不离开设备、GPU 加速
查看全部 AI 工具 →

相关提示词