OpenAI 开源通用语音识别模型

语音团队之前做多语言识别通常要拼接 Kaldi 或 Wav2Vec 2.0 再加单独的翻译模块，管线复杂且语种覆盖有限。Whisper 的 trick 是把所有子任务统一成 token 预测，靠 special tokens 做任务路由，一个模型端到端搞定。

跟 Wav2Vec 2.0 相比，Whisper 对低资源语种的泛化明显更好，且不需要额外的语言模型解码；缺点是实时性一般，16k 音频 base 模型也要 1-2x 实时率。

如果你在做播客转写、会议记录、视频字幕这类离线批处理场景，Whisper 几乎是零思考成本的选择；但要做实时语音交互，建议看看 faster-whisper 或 distil-whisper 这些衍生优化方案。