译者 | 李睿
审校 | 重楼
如今，似乎每一款商用设备都具备某种形式的语音识别功能，或者至少尝试过实现这一功能。从跨平台的语音助手到转录服务和辅助工具，再到最近成为大型语言模型(LLM)差异化的关键要素——语音输入已成为日常的用户界面。根据预测，语音用户界面(VUI)的市场规模将从2023年至2028年以23.39%的复合年增长率增长，可以预见将有更多的科技公司采用这一技术。
以下从剖析和定义使语音识别成为可能的最常见技术开始。
一、语音识别的机制：它是如何工作的?
特征提取
在进行任何“识别”之前，机器必须将人们产生的声波转换成它们能理解的格式。这个过程称为预处理和特征提取。梅尔频率倒谱系数(MFCC)和感知线性预测(PLP)系数是两种最常见的特征提取技术。
(1)梅尔频率倒谱系数(MFCC)
梅尔频率倒谱系数(MFCC)捕捉音频信号的功率谱，从本质上识别每个声音的独特之处。这项技术首先通过放大高频来平衡信号使其更清晰。然后，信号被分成短帧或声音片段，持续时间在200毫秒到40毫秒之间。然后对这些帧进行分析以了解它们的频率成分。通过应用一系列模拟人耳如何感知音频的滤波器，梅尔频率倒谱系数(MFCC)捕捕捉语音信号的关键、可识别的特征。最后一步是将这些特征转换成声学模型可以使用的数据格式。
(2)感知线性预测(PLP)系数
感知线性预测(PLP)系数旨在尽可能地模拟人类听觉系统的反应。与梅尔频率倒谱系数(MFCC)类似，感知线性预测系数(PLP)过滤声音频率以模拟人耳。在经过过滤之后，动态范围(样本的“响度”范围)被压缩，以反映人们的听觉对不同音量的不同反应。在最后一步，感知线性预测(PLP)估计“频谱包络线”，这是一种捕捉语音信号最基本特征的方法。这个过程提高了语音识别系统的可靠性，特别是在嘈杂的环境中。
(3)声学建模
声学建模是语音识别系统的核心，它形成了语音信号(声音)和语音单位(构成语言的不同声音)之间的统计关系。最广泛使用的技术包括隐马尔可夫模型(HMM)和最近的深度神经网络(DNN)。
(4)隐马尔可夫模型(HMM)
自从20世纪60年代末以来，隐马尔可夫模型(HMM)一直是模式识别工程的基石。它们对语音处理特别有效，因为它们将口语分解成更小、更易于管理的部分——音素。每个提取的音素都与隐马尔可夫模型(HMM)中的一个状态相关联，该模型将计算从一个状态到另一个状态转换的概率。这种概率方法允许系统从声音信号中推断出单词，即使在存在噪声和不同个体的语音差异的情况下也是如此。
(5)深度神经网络(DNN)
近年来，与人工智能和机器学习的发展和兴趣密切相关，深度神经网络(DNN)已经成为自然语言处理(NLP)的首选。与依赖于预定义状态和转换的隐马尔可夫模型(HMM)不同，深度神经网络(DNN)直接从数据中学习。它们由多层相互连接的神经元组成，这些神经元逐步提取数据的高级表示。
通过关注场景以及某些单词和声音之间的关系，深度神经网络可以捕获语音中更复杂的模式。这使得它们在准确性和鲁棒性方面与隐马尔可夫模型(HMM)相比表现得更好，并且需要额外的训练来适应口音、方言和说话风格——这在日益多语言的世界中是一个巨大的优势。
展望未来：挑战与创新
语音识别技术已经取得了很大的进步，但是，正如用户认识到的那样，它还远远不够完美。背景噪音、多人同时讲话、口音以及延迟是尚未解决的挑战。随着工程师们逐渐认识到网络模型的潜力，一个颇具前景的创新是利用隐马尔可夫模型(HMM)和深度神经网络(DNN)的优势，使用混合解决方案。扩大人工智能研究的另一个好处是跨领域的深度学习应用，传统上用于图像分析的卷积神经网络(CNN)在语音处理方面显示出有前景的结果。另一项激动人心的发展是迁移学习的使用，在大数据集上训练的模型可以通过相对较小的配套数据集对特定任务和语言进行微调。这减少了为新应用程序开发高性能语音识别所需的时间和资源，允许采用更环保的方法来重复模型部署。
二、整合一切：现实世界的应用
综上所述，特征提取和声学建模协同工作，形成了所谓的语音识别系统。这个过程从使用预处理和特征识别将声波转换成可管理的数据开始。然后将这些数据点或特征输入声学模型，由声学模型进行解释并将输入转换为文本。从那里，其他应用程序可以很容易地与语音输入进行交互。
从最嘈杂、最耗时的环境(如汽车界面)到个人设备上的无障碍替代方案，人们越来越信任这项技术，并将其用于更关键的功能。对于致力改进这项技术的人来说，理解这些机制不仅仅是学术上的需要，还激励技术人员欣赏这些工具及其在提高无障碍性、可用性和用户体验效率方面的潜力。随着语音用户界面(VUI)越来越与大型语言模型(LLM)相关联，工程师和设计师应该熟悉生成式人工智能在现实世界应用中最常见的界面。
原文Demystifying the Magic: A Look Inside the Algorithms of Speech Recognition，作者：Manoj bopathi Raj
