语音识别在人工智能和机器学习中仍然是一个具有挑战性的问题。为了解决这个问题，OpenAI今天开源了 Whisper，这是一种自动语音识别系统，该公司声称该系统可以实现多种语言的“强大”转录以及从这些语言翻译成英语。
无数组织已经开发出功能强大的语音识别系统，这些系统位于谷歌、亚马逊和 Meta 等科技巨头的软件和服务的核心。但据 OpenAI 称，Whisper 的不同之处在于它接受了从网络收集的 680,000 小时多语言和“多任务”数据的训练，从而提高了对独特口音、背景噪音和技术术语的识别能力。
“[the Whisper] 模型的主要目标用户是研究当前模型的稳健性、泛化、能力、偏差和约束的 AI 研究人员。然而，Whisper 作为开发人员的自动语音识别解决方案也可能非常有用，特别是对于英语语音识别，” OpenAI在 Whisper 的 GitHub 存储库中写道，可以从中下载系统的多个版本。 “[模型] 在大约 10 种语言中显示出强大的 ASR 结果。它们可能会表现出额外的能力……如果在某些任务上进行微调，例如语音活动检测、说话人分类或说话人分类，但在这些领域还没有得到强有力的评估。”
Whisper 有其局限性，尤其是在文本预测领域。由于该系统接受了大量“嘈杂”数据的训练，OpenAI 警告说，Whisper 可能会在其转录中包含实际上并未说出的单词——可能是因为它既试图预测音频中的下一个单词，又试图转录音频本身.此外，Whisper 在不同语言中的表现并不一样好，当涉及到训练数据中没有很好代表的语言的说话者时，错误率更高。
不幸的是，最后一点对于语音识别世界来说并不是什么新鲜事。偏见一直困扰着即使是最好的系统，2020 年斯坦福大学的一项研究发现，亚马逊、苹果、谷歌、IBM 和微软的系统对白人用户的错误比对黑人用户的错误要少得多——大约 35%。
尽管如此，OpenAI 认为 Whisper 的转录功能被用于改进现有的可访问性工具。
“虽然 Whisper 模型不能用于开箱即用的实时转录，但它们的速度和大小表明其他人可能能够在它们之上构建允许近实时语音识别和翻译的应用程序，”该公司在 GitHub 上继续。 “建立在 Whisper 模型之上的有益应用程序的真正价值表明，这些模型的不同性能可能会产生真正的经济影响……[W]e 希望该技术将主要用于有益目的，使自动语音识别技术更容易获得可能使更多的参与者能够建立有能力的监控技术或扩大现有的监控工作，因为速度和准确性允许对大量音频通信进行负担得起的自动转录和翻译。”
Whisper 的发布并不一定预示着 OpenAI 的未来计划。在越来越关注DALL-E 2和GPT-3等商业努力的同时，该公司正在追求几个纯理论研究线程，包括通过观察视频学习的AI 系统。
OpenAI 开源 Whisper， Kyle Wiggers的多语言语音识别系统，最初发表在TechCrunch上