Voxtral 3 录音转写和实时字幕的选法,看音频是已经录好的文件,还是正在说话的直播。录好的会议录音、采访和播客,走文件转写;边说边出字的直播字幕和语音助手,走实时转写。Mistral 的 Voxtral 3 家族里,转写、实时和语音合成是不同的模型,入口选错,后面的时间戳和说话人区分都会不对。
| 需求 | 用哪个模型 |
|---|---|
| 录音文件转文字 | Voxtral Mini Transcribe 3,支持说话人区分、分段时间戳和自定义词汇 |
| 录音文件要更高质量 | Voxtral Small Transcribe 3,文件转写的大一号版本 |
| 边说边出字 | Voxtral Mini Transcribe Realtime 3,走 WebSocket 流式会话 |
文件转写一次发一个完整音频,拿回带时间戳的全文,适合会议纪要、采访整理和字幕初稿。录音里的人名、产品名和术语,先在自定义词汇里给出来,识别结果会稳很多。实时转写按会话流式出字,延迟可以在每次会话里设置,范围是 80 毫秒到 2400 毫秒,延迟设得越低,文字来得越快,但断句可能越碎,直播字幕和语音助手要按场景折中。调用都要用 Mistral AI Studio 的密钥,端点按数据驻留要求选欧洲、美国或全球。
实时会话里,说话人区分和轮次检测别同时开
实时会话有个组合限制:说话人区分和轮次检测不能放在同一个会话里,同时设置会报错,需要分开建会话。时间戳也要按模式理解:文件转写给的是分段时间戳,没有逐词时间戳;实时片段带有说话人标签,但没有起止时间,只能从帧对齐里推算。转写结果不理想时,先补自定义词汇,再换 Small 模型;词汇和模型都救不回来的录音,先检查录音本身的噪音和重叠说话。语音合成是另外两个 TTS 模型的事,转写模型不会出声;想对录音提问、做摘要或翻译,走音频进聊天模型那条路。