接近人类水平的开源语音识别模型来了——OpenAI的Whisper

Whisper是一个自动语音识别(ASR)系统，它是根据从网络上收集的680,000小时的多语言和多任务监督数据进行训练的。我们表明，使用这样一个庞大而多样的数据集，可以提高对口音、背景噪音和技术语言的稳健性。此外，它还能实现多种语言的转录，以及从这些语言翻译成英语。我们正在开放模型和推理代码，作为建立有用的应用程序和进一步研究稳健语音处理的基础。

Whisper架构是一个简单的端到端方法，作为一个编码器-解码器转化器实现。输入的音频被分割成30秒的小块，转换为对数梅尔频谱图，然后传入编码器。解码器被训练来预测相应的文字说明，其中夹杂着特殊的标记，指导单一模型执行语言识别、短语级别的时间戳、多语言语音转录和英式语音翻译等任务。

其他现有的方法经常使用较小的、更紧密配对的音频-文本训练数据集123，或者使用广泛但无监督的音频预训练456。由于Whisper是在一个庞大而多样的数据集上训练的，并没有针对任何特定的数据集进行微调，所以它并没有打败那些专门研究LibriSpeech性能的模型，这是一个著名的语音识别竞争基准。然而，当我们在许多不同的数据集上测量Whisper的零散性能时，我们发现它比那些模型要稳健得多，犯的错误要少50%。

Whisper的音频数据集中约有三分之一是非英语，它被交替赋予用原文转录或翻译成英语的任务。我们发现这种方法在学习语音到文本的翻译方面特别有效，并且在CoVoST2到英语翻译的零散过程中超过了有监督的SOTA。