语音识别研究综述
语言是人类最原始直接的一种交流方式,通俗易懂、便于理解.随着科技的发展,语言交流不再只存在于人与人之间,如何让机器“听懂”人类的语言并做出反应成为人工智能的重要课题,语音智能交互技术应运而生.作为其中重要一环的语音识别技术近年来不断发展,走出了实验室,随着人工智能进入人们的日常生活中.当今市场上语音识别技术相关的软件、商品涉及人类生活的方方面面,语音识别的实用性已经得到充分的印证.如今语音识别技术已经成为人类社会智能化的关键一步,能够极大提高人们生活的便捷度.
1语音识别技术的发展历程语音识别技术始于20世纪50年代,贝尔实验室研发了10个孤立数字的语音识别系统,此后,语音识别相关研究大致经历了3个发展阶段.第1阶段,从20世纪50年代到90年代,语音识别仍处于探索阶段.这一阶段主要通过模板匹配—即将待识别的语音特征与训练中的模板进行匹配—进行语音识别.典型的方法包括动态时间规整(dynamictimewarping,DTW)技术和矢量量化(vectorquantification,VQ).DTW依靠动态规划(dynamicprogramming,DP)技术解决了语音输入输出不定长的问题;VQ则是对词库中的字、词等单元形成矢量量化的码本作为模板,再用输入的语音特征矢量与模板进行匹配.总体而言,这一阶段主要实现了小词汇量、孤立词的语音识别.20世纪80年代至21世纪初为第2阶段,这一阶段的语音识别主要以隐马尔科夫模型(hiddenMarkovmodel,HMM)为基础的概率统计模型为主,识别的准确率和稳定性都得到极大提升.该阶段的经典成果包括1990年李开复等研发的SPHINX系统[1],该系统以GMM-HMM(Gaussianmixturemodel-hiddenMarkovmodel)为核心框架,是有史以来第一个高性能的非特定人、大词汇量、连续语音识别系统.GMM-HMM结构在相当长时间内一直占据语音识别系统的主流地位,并且至今仍然是学习、理解语音识别技术的基石.此外,剑桥推出了以HMM为基础的语音识别工具包HTK(hiddenMarkovmodeltoolkit)[2].21世纪至今是语音识别的第3阶段.这一阶段的语音识别建立在深度学习基础上,得益于神经网络对非线性模型和大数据的处理能力,取得了大量成果.2009年Mohamed等[3]提出深度置信网络(deepbeliefnetwork,DBN)与HMM相结合的声学模型在小词汇量连续语音识别中取得成功.2012年深度神经网络与HMM相结合的声学模型DNN-HMM在大词汇量连续语音识别(largevocabularycontinuousspeechrecognition,LVCSR)中取得成功[4],掀起利用深度学习进行语音识别的浪潮.此后,以卷积神经网络(convolutionalneuralnetwork,CNN)、循环神经网络(recurrentneuralnetwork,RNN)等常见网络为基础的混合识别系统和端到端识别系统都获得了不错的识别结果和系统稳定性.迄今为止,以神经网络为基础的语音识别系统仍旧是国内外学者的研究热点.
我国的语音识别则起步于国家的“863计划”和“973计划”,中科院声学所等研究所以及顶尖高校尝试实现长时语音的汉语识别工作,如今中文语音识别技术已经达到了国际水准.2015年清华大学建立了第一个开源的中文语音数据库THCHS-30[5].2016年上海交通大学提出的非常深卷积网络(verydeepconvolutionalneuralnetworks,VDCNN)[6]提高了噪声语音识别的性能,并在此基础上进一步提出了非常深卷积残差网络(verydeepconvolutionalresidualnetwork,VDCRN)[7].百度于2014年、2016年依次推出了DeepSpeech[8]及其改进版本[9],并在2017年提出ColdFusion[10]以便于更好地利用语言学信息进行语音识别,该系统以LSTM-CTC(longshort-termmemory-connectionisttemporalclassification)的端到端模型为基础,在不同的噪声环境下实现了英语和普通话的语音识别.2018年科大讯飞提出的深度全序列卷积神经网络(deepfull-sequenceconvolutionneuralnetworks,DFCNN)[11]直接对语音信号进行建模,该模型采用的大量叠加卷积层能够储存更多历史信息,获得了良好的识别效果.同年,阿里巴巴提出低帧率深度前馈记忆网络(lowerframerate-deepfeedforwardsequentialmemorynetworks,LFR-DFSMN)[12],将低帧率算法和DFSMN算法相结合,使错误率降低了20%,解码速度却提升了近3倍.
总体而言,当前主流语音识别技术主要在大词汇量连续语音数据集上,基于深度神经网络进行模型构建和训练,面向不同应用场景需求和数据特点对现有的神经网络不断改进,相比于传统的统计方法取得了极大的性能提升.
2语音识别基础2.1语音识别概念语音识别是利用机器对语音信号进行识别和理解并将其转换成相应文本和命令的技术,涉及到心理学、信号处理、统计学、数学和计算机等多门学科.其本质是一种模式识别,通过对未知语音和已知语音的比较,匹配出最优的识别结果.
根据面向的应用场景不同,语音识别存在许多不同的类型:从对说话人的要求考虑可分为特定人和非特定人系统;从识别内容考虑可分为孤立词识别和连续语音识别、命令及小词汇量识别和大词汇量识别、规范语言识别和口语识别;从识别的速度考虑还可分为听写和自然语速的识别等[13].
2.2传统语音识别基本原理通常,语音识别过程大致分为两步:第1步,首先对语音信号提取特定的声学特征,然后对声学特征进行“学习”或者说是“训练”,即建立识别基本单元的声学模型和进行语言文法分析的语言模型;第2步是“识别”,根据识别系统的类型选择能够满足要求的识别方法,采用语音分析方法分析出这种识别方法所要求的语音特征参数,按照一定的准则和测度与系统模型进行比较,通过判决得出识别结果.
设一段语音信号经过特征提取得到特征向量序列为X=[x1,x2,…,xN],其中xi是一帧的特征向量,i=1,2,…,N,N为特征向量的数目.该段语音对应的文本序列设为W=[w1,w2,…,wM],其中wi为基本组成单元,如音素、单词、字符,i=1,2,…,M,M为文本序列的维度.从贝叶斯角度,语音识别的目标就是从所有可能产生特征向量X的文本序列中找到概率最大的W*,可以用公式表示为式(1)优化问题:
$egin{split}{W^*}=&argmathop{max}limits_WPleft({Wleft|X ight.} ight)=argmathop{max}limits_Wfrac{{Pleft({Xleft|W ight.} ight)Pleft(W ight)}}{{Pleft(X ight)}}\&proptoargmathop{max}limits_WPleft({Xleft|W ight.} ight)Pleft(W ight)end{split}$(1)由式(1)可知,要找到最可能的文本序列必须使两个概率P(X|W)和P(W)的乘积最大,其中P(X|W)为条件概率,由声学模型决定;P(W)为先验概率,由语言模型决定.声学模型和语言模型对语音信号的表示越精准,得到的语音系统效果越准确.
从语音识别系统的构成来讲,一套完整的语音识别系统包括预处理、特征提取、声学模型、语言模型以及搜索算法等模块,其结构示意图如图1所示.其中较为重要的特征提取、声学模型和语言模型将在第2.2节中详细阐述.
图1Fig.1图1语音识别系统结构图预处理包括预滤波、采样、模/数转换、预加重、分帧加窗、端点检测等操作.其中,信号分帧是将信号数字化后的语音信号分成短时信号作为识别的基本单位.这主要是因为语音信号是非平稳信号,且具有时变特性,不易分析;但其通常在短时间范围(一般为10–30ms)内其特性基本不变,具有短时平稳性,可以用来分析其特征参数.
搜索模块是指在训练好声学模型和语言模型后,根据字典搜索最优路径,即最可能的输出词序列.传统的语音识别解码建立在加权有限状态转换器(weightedfinitestatetransducer,WFST)所构成的动态网络上,将HMM状态、词典和语法等结合起来.目前端到端模型中主流的搜索算法为BeamSearch等.
2.2.1特征提取通常,在进行语音识别之前,需要根据语音信号波形提取有效的声学特征.特征提取的性能对后续语音识别系统的准确性极其关键,因此需要具有一定的鲁棒性和区分性.目前语音识别系统常用的声学特征有梅尔频率倒谱系数(Mel-frequencycepstrumcoefficient,MFCC)、感知线性预测系数(perceptuallinearpredictivecepstrumcoefficient,PLP)、线性预测倒谱系数(linearpredictioncepstralcoefficient,LPCC)、梅尔滤波器组系数(Melfilterbank,Fbank)等.
MFCC是最为经典的语音特征,其提取过程如图2所示.MFCC的提取模仿了人耳的听觉系统,计算简单,低频部分也有良好的频率分辨能力,在噪声环境下具有一定的鲁棒性.因此,现阶段语音识别系统大多仍采用MFCC作为特征参数,并取得了不错的识别效果.
图2Fig.2图2MFCC的特征提取过程2.2.2声学模型声学模型是对等式(1)中的P(X|W)进行建模,在语音特征与音素之间建立映射关系,即给定模型后产生语音波形的概率,其输入是语音信号经过特征提取后得到的特征向量序列.声学模型整个语音识别系统中最重要的部分,只有学好了发音,才能顺利和发音词典、语言模型相结合得到较好的识别性能.
GMM-HMM是最为常见的一种声学模型,该模型利用HMM对时间序列的建模能力,描述语音如何从一个短时平稳段过渡到下一个短时平稳段;此外,HMM的隐藏状态和观测状态的数目互不相干,可以解决语音识别中输入输出不等长的问题.该声学模型中的每个HMM都涉及到3个参数:初始状态概率、状态转移概率和观测概率,其中观测概率依赖于特征向量的概率分布,采用高斯混合模型GMM进行建模.
GMM-HMM声学模型在语音识别领域有很重要的地位,其结构简单且区分度训练成熟,训练速度也相对较快.然而该模型中的GMM忽略时序信息,每帧之间相对孤立,对上下文信息利用并不充分.且随着数据量的上升,GMM需要优化的参数急剧增加,这给声学模型带来了很大的计算负担,浅层模型也难以学习非线性的特征变换.
深度学习的兴起为声学建模提供了新途径,学者们用深度神经网络(deepneuralnetwork,DNN)代替GMM估计HMM的观测概率,得到了DNN-HMM语音识别系统,其结构如图3所示.DNN-HMM采用DNN的每个输出节点来估计给定声学特征的条件下HMM某个状态的后验概率.DNN模型的训练阶段大致分为两个步骤:第1步是预训练,利用无监督学习的算法训练受限波尔兹曼机(restrictedBoltzmannmachine,RBM),RBM算法通过逐层训练并堆叠成深层置信网络(deepbeliefnetworks,DBN);第2步是区分性调整,在DBN的最后一层上面增加一层Softmax层,将其用于初始化DNN的模型参数,然后使用带标注的数据,利用传统神经网络的学习算法(如BP算法)学习DNN的模型参数.相比于GMM-HMM,DNN-HMM具有更好的泛化能力,擅长举一反三,帧与帧之间可以进行拼接输入,特征参数也更加多样化,且对所有状态只需训练一个神经网络.文献[4]证实了神经网络在大词汇量语音识别领域的出色表现.
图3Fig.3图3基于DNN-HMM的语音识别系统框架通过将DNN取代GMM对HMM观测概率进行声学建模,DNN-HMM相比GMM-HMM在语音识别性能方面有很大提升;然而,DNN对于时序信息的上下文建模能力以及灵活性等方面仍有欠缺.针对这一问题,对上下文信息利用能力更强的循环神经网络RNN[14]和卷积神经网络CNN[15]被引入声学建模中.在RNN的网络结构中,当前时刻的输出依赖记忆与当前时刻的输入,这对于语音信号的上下文相关性建模非常有优势.然而,RNN存在因梯度消失和梯度爆炸而难以训练的问题,于是研究人员引入门控机制,得到梯度传播更加稳定的长短时记忆(longshort-termmemory,LSTM)网络.LSTM-RNN对语音的上下文信息的利用率更高,识别的准确率与鲁棒性也均有提升,这些在文献[16]中能得到证实.CNN的优势在于卷积的不变性和池化技术,对上下文信息有建模能力,对噪声具有鲁棒性,并且可以减少计算量.时延神经网络(timedelayneuralnetwork,TDNN)是CNN对大词汇量连续语音识别的成功应用[17].CLDNN(CNN-LSTM-DNN)综合了三者的优点,实验结果也证明了三者的结合得到了正向的收益[18].
总体而言,近年来语音识别中对声学模型的研究仍集中在神经网络,针对不同的应用场景和需求对上述经典网络结构进行综合和改进[19-21],以期训练更复杂、更强大的声学模型.
2.2.3语言模型语言模型是用来预测字符(词)序列产生的概率,判断一个语言序列是否为正常语句,也就是解决如何计算等式(1)中的P(W).传统的语言模型n-gram[22]是一种具有强马尔科夫独立性假设的模型,它认为任意一个词出现的概率仅与前面有限的n–1个字出现的概率有关,其公式表达如下:
$egin{split}Pleft(W ight)=&prodlimits_{i=1}^m{P({w_i}|{w_1},{w_2},cdots,{w_{i-1}})}\&proptoprodlimits_{i=1}^m{P({w_i}|{w_{i-n+1}},cdots,{w_{i-1}})}end{split}$(2)$egin{split}&Pleft({{w_i}|{w_{i-n+1}},{w_{i-n+2}},cdots,{w_{i-1}}} ight)=hfill\&frac{{countleft({{w_{i-n+1}},{w_{i-n+2}},cdots,{w_{i-1}},{w_i}} ight)}}{{countleft({{w_{i-n+1}},{w_{i-n+2}},cdots,{w_{i-1}}} ight)}}hfillend{split}$(3)然而,由于训练语料数据不足或者词组使用频率过低等常见因素,测试集中可能会出现训练集中未出现过的词或某个子序列未在训练集中出现,这将导致n-gram语言模型计算出的概率为零,这种情况被称为未登录词(out-of-vocabulary,OOV)问题.为缓解这个问题,通常采用一些平滑技术,常见的平滑处理有Discounting、Interpolation和Backing-off等.n-gram模型的优势在于其参数易训练,可解释性极强,且完全包含了前n–1个词的全部信息,能够节省解码时间;但难以避免维数灾难的问题,此外n-gram模型泛化能力弱,容易出现OOV问题,缺乏长期依赖.
随着深度学习的发展,语言模型的研究也开始引入深度神经网络.从n-gram模型可以看出当前的词组出现依赖于前方的信息,因此很适合用循环神经网络进行建模.Bengio等将神经网络用于语言模型建模[23],提出用词向量的概念,用连续变量代替离散变量,利用神经网络去建模当前词出现的概率与其前n–1个词之间的约束关系.这种模型能够降低模型参数的数量,具有一定的泛化能力,能够较好地解决数据稀疏带来的问题,但其对取得长距离信息仍束手无策.为进一步解决问题,RNN被用于语言模型建模[24].RNNLM中隐含层的循环能够获得更多上下文信息,通过在整个训练集上优化交叉熵来训练模型,使得网络能够尽可能建模出自然语言序列与后续词之间的内在联系.其优势在于相同的网络结构和超参数可以处理任意长度的历史信息,能够利用神经网络的表征学习能力,极大程度避免了未登录问题;但无法任意修改神经网络中的参数,不利于新词的添加和修改,且实时性不高.
语言模型的性能通常采用困惑度(perplexity,PPL)进行评价.PPL定义为序列的概率几何平均数的倒数,其公式定义如下:
$egin{split}&Pleft({{w_i}|{w_{i-n+1}},{w_{i-n+2}},cdots,{w_{i-1}}} ight)hfill\&=frac{{countleft({{w_{i-n+1}},{w_{i-n+2}},cdots,{w_{i-1}},{w_i}} ight)}}{{countleft({{w_{i-n+1}},{w_{i-n+2}},cdots,{w_{i-1}}} ight)}}hfillend{split}$(4)PPL越小表示在给定历史上出现下一个预测词的概率越高,该模型的效果越好.
2.3端到端语音识别传统的语音识别由多个模块组成,彼此独立训练,但各个子模块的训练目标不一致,容易产生误差累积,使得子模块的最优解并不一定是全局最优解.针对这个问题,学者们提出了端到端的语音识别系统,直接对等式(1)中的概率P(W|X)进行建模,将输入的语音波形(或特征矢量序列)直接转换成单词、字符序列.端到端的语音识别将声学模型、语言模型、发音词典等模块被容纳至一个系统,通过训练直接优化最终目标,如词错误率(worderrorrate,WER)、字错误率(charactererrorrate,CER),极大地简化了整个建模过程.目前端到端的语音识别方法主要有基于连接时序分类(connectionisttemporalclassification,CTC)[25]和基于注意力机制(attentionmodel)[26]两类方法及其改进方法.
CTC引入空白符号(blank)解决输入输出序列不等长的问题,主要思想是最大化所有可能对应的序列概率之和,无需考虑语音帧和字符的对齐关系,只需要输入和输出就可以训练.CTC实质是一种损失函数,常与LSTM联合使用.基于CTC的模型结构简单,可读性较强,但对发音词典和语言模型的依赖性较强,且需要做独立性假设.RNN-Transducer模型[27]是对CTC的一种改进,加入一个语言模型预测网络,并和CTC网络通过一层全连接层得到新的输出,这样解决了CTC输出需做条件独立性假设的问题,能够对历史输出和历史语音特征进行信息累积,更好地利用语言学信息提高识别准确率.
基于注意力机制的端到端模型最开始被用于机器翻译,能够自动实现两种语言的不同长度单词序列之间的转换.该模型主要由编码网络、解码网络和注意力子网络组成.编码网络将语音特征序列经过深层神经网络映射成高维特征序列,注意力网络分配权重系数,解码网络负责输出预测的概率分布.该模型不需要先验对齐信息,也不用音素序列间的独立性假设,不需要发音词典等人工知识,可以真正实现端到端的建模.2016年谷歌提出了一个Listen-Attend-Spell(LAS)模型[28],其结构框图如图4所示.LAS模型真正实现了端到端,所有组件联合训练,也无独立性假设要求.但LAS模型需要对整个输入序列之后进行识别,因此实时性较差,之后也有许多学者对该模型不断改进[29-31].
图4Fig.4图4LAS模型框架图目前端到端的语音识别系统仍是语音识别领域的研究热点,基于CTC[32-34]、attention机制[35]以及两者结合的系统[36,37]都取得了非常不错的成果.其中Transformer-Transducer模型[38]将RNN-T模型中的RNN替换为Transformer提升了计算效率,还控制attention模块上下文时间片的宽度,满足流式语音识别的需求.2020年谷歌提出的ContextNet模型[39],采用Squeeze-and-Excitation模块获取全局信息,并通过渐进降采样和模型缩放在减小模型参数和保持识别准确率之间取得平衡.在Transformer模型捕捉长距离交互的基础上加入了CNN擅长的局部提取特征得到Conformer模型[40],实现以更少的参数达到更好的精度.实际上端到端的语音识别系统在很多场景的识别效果已经超出传统结构下的识别系统,但距其落地得到广泛商业应用仍有一段路要走.
3语音识别的难点与热点语音识别作为人机交互的关键技术一直是科技应用领域的研究热点.目前,语音识别技术从理论研究到产品的开发都已取得了很多的成果,然而,相关研究及应用落地仍然面临很大挑战,具体可归纳为以下几方面:
鲁棒性语音识别:目前,理想条件下(低噪声加近场)的语音识别准确率已经达到一定程度.然而,在实际一些复杂语音环境下,如声源远场等情景,低信噪比、房间混响、回声干扰以及多声源信号干扰等因素,使得语音识别任务面临很大挑战.因此,针对复杂环境研究鲁棒语音识别是目前语音识别领域的研究难点和热点.当前,针对复杂环境下的语音识别研究大致可以分为4个方向:(1)在语音识别前端,利用信号处理技术提高信号质量:采用麦克风阵列技术采集远场声源信号,然后通过声源定位[41]、回声消除[42]、声源分离或语音增强[43]等提高语音信号质量.例如,文献[44]在基于深度学习的自适应声学回声消除(acousticechocancellation,AEC)中加入了背景关注模块以适应部署环境的变化,以提高语音信号质量;文献[45]以深度聚类为框架提出了结合频谱和空间信息的盲源分离方法;文献[46]利用以基于生成式对抗网络(generativeadversialnetworks,GAN)为基础框架的增强网络进行噪声抑制,从而提高目标语音信号质量;(2)寻找新的鲁棒性特征,尽可能消除非目标语音信号的影响:例如,伽马通滤波器倒谱系数(Gammatonefrequencycepstrumcoefficient,GFCC)[47]等听觉特征参数更适合拟合人耳基底膜的选择性,符合人耳听觉特征;或者,采用自动编码器[48]、迁移学习[49]等多种方式提取更鲁棒的特征;(3)模型的改进与自适应[50]:上海交通大学提出的VDCNN[6]以及VDCRN[7]通过加深卷积层提升算法的鲁棒性,文献[51]利用GAN中生成器与判别器的相互博弈和瓶颈特征构建声学模型,文献[52]采用teacher-studentlearning的方式以干净语音训练的声学模型作为教师模型训练噪声环境下的学生模型;(4)多模态数据融合[53]:当在高噪声环境或多说话人造成语音重叠的情况下,目标语音信号容易被噪声或其他非目标声源(干扰信号)“淹没”,这时仅凭拾音设备捕捉的“语音”信号往往无法获得良好的识别性能;这时,将语音信号和其他信号如声带的振动信号[54]、嘴部的图像信号[55]等进行融合,更好地提升识别系统的鲁棒性.例如,文献[56]以RNN-T为框架,提出多模态注意力机制对音频和视频信息进行融合,以提高识别性能;文献[57]同样基于RNN-T,但利用vision-to-phonememodel(V2P)提取视觉特征,连同音频特征以相同的帧频输入至编码器,取得了良好的识别性能.
低资源语音识别:这是对各种小语种语言识别研究的统称.小语种不同于方言,有独立完整的发音体系,各异性较强但数据资源匮乏,难以适应以汉语、英语为主的语音识别系统,声学建模需要利用不充分的数据资源训练得到尽可能多的声学特征.解决这一问题的基本思路可以概括为从主流语言的丰富资源中提取共性训练出可以公用的模型,在此基础上训练小语种模型.文献[58]为解决共享隐藏层中会学到不必要的特定信息这一问题,提出了一个共享层和特有层平行的模型，它通过对抗性学习确保模型能够学习更多不同语种间的不变特征.然而,小语种种类繁多,为了单独一种建立识别系统耗费过多资源并不划算,因此现在主要研究多语种融合的语音识别系统[59,60].
语音的模糊性:各种语言中都存在相似发音的词语,不同的讲话者存在不同的发音习惯以及口音、方言等问题,母语者和非母语者说同一种语言也存在不同的口音,难以针对单独的口音构建模型.针对多口音建模[61]的问题,现有的方法一般可以分为与口音无关和与口音相关两大类,其中与口音无关的模型普遍表现更好一些.文献[62]尝试通过特定口音模型的集合建立统一的多口音识别模型;文献[63]通过多任务学习将声学模型和口音识别分类器联合;文献[64]则基于GAN构建了预训练网络从声学特征中区分出不变的口音.
低计算资源:精度高效果好的神经网络模型往往需要大量的计算资源且规模巨大,但移动设备(如手机、智能家居等)计算能力和内存有限,难以支撑,因此需要对模型进行压缩及加速.目前针对深度学习模型采用的压缩方法有网络剪枝、参数量化、知识蒸馏等.文献[65]采用网络剪枝的方法构建了动态稀疏神经网络(dynamicsparsityneuralnetworks,DSNN),提供不同稀疏级别的网络模型,通过动态调整以适应不同资源和能量约束的多种硬件类型的能力.文献[66]通过量化网络参数减少内存占用并加快计算速度.知识蒸馏能够将复杂模型的知识迁入小模型,已应用于对语音识别系统的语言模型[67]、声学模型[68]和端到端模型[29,69,70]等进行压缩.文献[71]利用知识蒸馏将视听两模态的识别系统迁移至单听觉模型,缩小了模型规模,加快了训练速度,却并不影响精度.
4总结与展望4.1总结本文主要对语音识别的发展、系统结构研究、热点及难点进行了阐述.目前主流的语音识别方法大多基于深度神经网络.这些方法大体分为两类:一类是采用一定的神经网络取代传统语音识别方法中的个别模块,如特征提取、声学模型或语言模型等;另一类是基于神经网络实现端到端的语音识别.相比于传统的识别方法,基于深度神经网络的语音识别方法在性能上有了显著的提升.在低噪音加近场等理想环境下,当前的语音识别技术研究已经达到了商业需求.然而,在实际应用中存在各种复杂情况,如声源远场、小语种识别、说话人口音、专业语言场景等,这些情况使得复杂场景下的语音识别应用落地仍面临挑战.此外,尽管当前深度学习在语音识别的应用确实提高了识别率等性能,但效果好的模型往往规模复杂且庞大、需要的数据资源较为冗余,不适合用于移动设备(如手机、智能穿戴设备等);此外,小语种、多口音、不同方言等的识别性能仍然差强人意.总之,当前语音识别领域已取得丰富的研究成果,但仍有很长一段路要走.
4.2展望在未来很长一段时间内,基于深度神经网络的语音识别仍是主流;面向不同应用场景,根据语音信号特点对现有神经网络结构进行改进仍是未来研究重点.大体上,未来语音识别领域的研究方向可大致归纳如下.
(1)模型压缩与加速.尽管当前深度学习在语音识别的应用确实提高了识别率等性能,但效果好的模型往往规模复杂且庞大、需要的数据资源较为冗余,不适合用于移动设备(如手机、智能穿戴设备等),因此对基于深度神经网络的语音识别系统进行网络模型压缩和加速,将是未来语音识别的研究方向之一.
(2)数据迁移.在面对小样本数据或复杂问题时,迁移学习是一种有效的方式.在语音识别领域中,采用迁移学习的方式对小语种、方言口音或含噪语音进行识别也是未来的研究方向之一.
(3)多模态数据融合.对于一些复杂的语音场景(高噪声、混响、多源干扰等),可以利用语音信号和其他信号(如图像信号、振动信号等)进行融合,以提高语音识别性能,也是未来研究研究方向之一.
(4)多技术融合,提高认知智能.当前大多数语音识别算法只关注识别文字内容的正确性;然而,许多智能语音交互的应用(如QA问答、多轮对话等)还涉及到语义的理解.因此,将语音识别技术结合其他技术[72-75]如自然语言处理(naturallanguageprocessing,NLP)相结合以提升识别性能也是未来研究方向之一.
2019中国智能语音的发展历程、现状及前景分析
1988年，世界上首个非特定人大词汇量连续语音识别系统SPHINX诞生
3产业化
1997年，语音听写产品问世
1998年，成功开发出可识别上海话、广东话和四川话等地方口音的语音识别系统
2002年，美国首先启动“全球自主语言开发”项目
2009年，微软Win7集成语音功能
4快速应用
2011年，苹果个人手机助理Siri诞生
2015年，首个可智能打断纠正的语音技术问世
2017年，智能语音系统集中扩展深度学习应用技术取得突破性进展
智能语音的应用场景
智能语音应用的场景非常丰富，并已经成熟应用在众多领域中，例如这六大场景：
01智能家居
智能家居是以住宅为平台，利用综合布线技术、网络通信技术、安全防范技术、自动控制技术、音视频技术将家居生活有关的设施集成，构建高效的住宅设施与家庭日程事务的管理系统，提升家居安全性、便利性、舒适性、艺术性，并实现环保节能的居住环境。
02智能车载
智能车载系统让汽车变得更智能，主要可以实时更新地图，通过语音识别技术方便导航，以及娱乐功能；实现手机远程控制，让手机和汽车无缝对接。
03智能客服
智能客服是在大规模知识处理基础上发展起来的一项面向行业应用的，它具有行业通用性，不仅为企业提供了细粒度知识管理技术，还为企业与海量用户之间的沟通建立了一种基于自然语言的快捷有效的技术手段；同时还能够为企业提供精细化管理所需的统计分析信息。
（图：催米科技AI语音系统）
04智能金融
智能金融即人工智能与金融的全面融合，以人工智能、大数据、云计算、区块链等高新科技为核心要素，全面赋能金融机构，提升金融机构的服务效率，拓展金融服务的广度和深度，实现金融服务的智能化、个性化、定制化。AI米智能语音交互处理系统是由位于上海张江高科技园区的一家人工智能领域的企业——催米科技自主研发的，目前该系统为近百家消费金融、普惠金融、信托等机构提供了有效解决方案，广泛获得了市场认可。
05智能教育
智能教育是指国家实施《新一代人工智能发展规划》、《中国教育现代化2035》、《高等学校人工智能创新行动计划》等人工智能多层次教育体系的人工智能教育。
06智能医疗
智能医疗是通过打造健康档案区域医疗信息平台，利用最先进的物联网技术，实现患者与医务人员、医疗机构、医疗设备之间的互动，逐步达到信息化。
智能语音的市场规模
中国智能语音市场之所以飞速发展，不仅得益于国家政策的大力支持，还来源于智能家居带动、更多品牌加入及智能本身的交互便利性等一系列因素。
国家政策的支持
·2017年7月，国务院印发《新一代人工智能发展规划》
·2017年12月，工信部印发《促进新一代人工智能产业发展三年行动计划(2018-2020年)》
·2018年4月，教育部印发《高等学校人工智能创新行动计划》
·2019年3月，政府工作报告将人工智能升级为“智能+”
智能家居的带动
人工智能已经深入到生活的点点滴滴，智能家居开始走进人们的生活。据相关数据显示，单就中国智能家居市场而言，预计2019年其市场规模将超1900亿元。
更多品牌的加入
-BAT、科大、搜狗、同花顺等相继上线智能语音开放平台。
-阿里、百度、小米、科大等纷纷推出各自的智能音响。
-BAT、搜狗等与汽车公司合作并推出智能车载系统。
交互的便利性使然
语音交互能够创造全新的“伴随式”场景。相比其他图像、双手操控，语音入口有种种超越的优势，空间越复杂，越能发挥优势。
某种程度上，它可以解放我们的双手、双眼甚至双脚，特别适合在某些双手不方便的场景中使用。
【结语】随着智能语音应用产业的拓展，市场需求增大，预计2019年中国智能语音市场规模将增长到200亿元。
每一次科技的进步都给我们的生活和工作带来了便利。在不久的以后，智能语音技术在口语教学、考试测评、模拟练习等环节也将能够代替老师的很多工作，大大降低人工成本。随着技术的愈加成熟和逐步突破，我们相信智能语音的未来不可限量。
更多智能语音资讯，欢迎关注催米科技公众号SH-Cuimi返回搜狐，查看更多
汽车语音交互技术发展趋势综述
【摘要】汽车网联化和智能化创造了汽车人机交互创新发展的机遇与前景，其中语音交互已经成为人机交互的主要方式。首先，综述了从早期的物理按键到触屏以及发展到现在的语音多模态交互模式等人机交互发展进程，进而分析了国内外语音交互技术研究和应用现状，最后，对语音交互技术发展趋势进行展望，总结出人机交互将围绕从“基本可用”到“好用易用”，从“主副驾交互”到“多乘客交互”，从“被动式执行机器人”到“拟人化贴心助理”，从“车内交互”到“跨场景交互”以及从“语音交互”到“多模态交互融合协同”等趋势发展。
0前言近年来随着车联网系统迅速发展，汽车人机交互越受车企重视，其中语音作为最便捷的交互入口，在人机交互中发挥至关重要的价值，分析汽车行业近百年发展史，从早期的物理按键到触屏以及发展到现在的语音多模态等交互模式，每次变革都是围绕如何提升人机交互的体验为目标。语音交互全链路包括语音增强、语音识别、语义理解等多个环，如果其中一环亮红灯则会导致整体交互失败，但近几年由于深度学习算法改进，在各个算法模块都进行了升级，语音交互在部分垂类场景达到可用门槛。从汽车市场分析报告得出2020年中国汽车保有量将超过2亿辆，其中网联化备受人们关注，人机交互也面临着重大挑战，用户不再满足于基础的功能可用，期望更智能的交互模式。因此，未来的人机交互模式发展是重要研究课题。
1汽车人机交互发展概述1.1汽车人机交互重要性智能化和网联化已经成为汽车行业发展的必然趋势，越来越多的汽车企业正在积极向人工智能、软件服务、生态平台等方向发展，在汽车安全、性能全面提升的同时，让驾驶更智能、更有趣[1]。在此过程中，汽车与人之间的交互变的更为重要，如何让人与汽车之间更便捷和更安全的交互一直是各大车企及相关研究机构的研发方向。
1.2汽车人机交互方式发展1.2.1物理按键
汽车在早期主要是以驾驶为目的，内饰也比较单一，主要集中在中控仪表盘上。车载收音机和CD机的出现，成为了第一代车机主要娱乐功能，人与汽车交互开启了物理按键时代。在上世纪90年代，车内主要靠大量的物理开关按键进行控制车载影音娱乐系统，并且这些物理开关和按钮在空间设计上进行了一系列优化，由最初全部集中在中控仪表，慢慢迁移到驾驶员方向盘上。这些设计优化使人机交互的安全性和便捷性得到提升。
物理按键虽然是最原始的交互模式，但是在车内是最可靠的方式，车内安全性较高的部位还是使用物理按键，如：发动机起动、驻车以及车门开关等。随着汽车电子技术的发展及大规模的应用，汽车功能越来越丰富，收音机、空调、音响及电子系统开关按键分区排列，单一的物理按键方式已经不能满足用户的驾驶体验，于是屏幕显示开始引入车机。
1.2.2触屏
在上世纪80年代触摸屏被大规模商用化，但是触摸屏根据材料不一样可分为：红外线式、电阻式、表面声波式和电容式触摸屏4种。1986年别克推出全触屏中控的量产车型Riviera，内部使用了一块带有触摸传感器的CRT（阴极射线显像管）显示屏，该屏幕在功能上集成了比传统物理按键更多的控制功能，包括：电台、空调、音量调节、汽车诊断、油量显示等功能，使得整个车内人机交互体验上升一个档次。2007年，iPhone手机将触摸屏做到了极致的交互体验，开创了手机正面无键盘触摸屏操作的时代。之后各家车企也着手中控屏幕的设计，以及相应的人机交互系统的设计。大屏支持音、视频播放，触屏操控的交互方式成为第2代车机的标配。
2013年，特斯拉全新推出了采用垂直定向搭载17英寸车载显示屏的电动车—MODELS，全面取消中控物理按键，几乎可利用屏幕操控所有的车载功能。2018年，比亚迪第2代唐推出了支持90°旋转功能大尺寸的悬浮式中控屏。中控屏也朝着大尺寸、可移动、多屏幕方向发展。
1.2.3语音交互
在互联网通信技术以及智能交通快速发展的环境下，汽车本身也逐渐演变成能集成各种信息源的载体，随着人工智能技术的突飞猛进和车联网应用的大范围普及，语音交互的准确率、响应速度、便利性上有了很大提高。
在国际上，宝马、奔驰、福特、大众等多家车企已经将语音交互技术整合到车机内，为用户提供方便、安全、高效的车内人机交互方案。而在2012年之前，中国汽车市场的语音交互几乎都是由国外公司定义的。随着2010年科大讯飞发布了全球首个智能语音云开放平台，自主语音技术占据市场主导。2011～2013年，云+端技术架构、全球首个车载麦克风阵列降噪模块的发布，标志着中国自主的车载语音交互产品效果已经反超国外，到2014年在行车高噪环境下识别率已经超过90%。吉利、长安、奇瑞、上汽等自主品牌积极与语音技术和产品公司合作，深度定制搭载语音交互技术的车载系统。
2015年，科大讯飞和奇瑞汽车联合打造的iCloudrive2.0智能车载系统上市发布，产品以高效的语音体验颠覆了人们对于交互场景的认知，以语音交互深度打通了车机功能和信息娱乐服务，成为了业内追捧的人车交互标杆产品。
2016年，上汽和阿里联合打造的斑马智行1.0搭载荣威RX5上市发布，通过集成丰富的互联网生态服务和内容，以语音交互的方式作为连接用户的桥梁，成了当时行业内公认的互联网汽车标杆。
2017年，蔚来ES8首次在车内搭载Nomi机器人，让人机交互更形象好，用户对人机交互助理的热度提升，定位开车旅途中的伙伴更拟人化。
随着技术的发展，第3代车机在往信息化、智能化发展，采用更好、兼容性更强的安卓等车机系统。通过快速集成免唤醒、语音增强、声源定位、声纹识别、自然语音交互、主动式交互、智能语音提示等新的技术，全面增强了驾驶空间的安全性、趣味性，互动性[2]，打造了沉浸式交互体验的智能驾舱。
1.2.4多模态交互
人与人交流除听觉外，还有许多感官通道，为了提供更好的人机交互体验，需充分利用人的多种感知通道（听觉通道、视觉通道、触觉通道、嗅觉通道、意识通道等），以不同形式的输入组合（语音、图像、手势、触摸、姿势、表情、眼动、脑电波等）为人机交互通道提供多种选择，提高人机交互的自然度和效率。多模态并非多个模态的集合，而是各单一模态之间的有机协同和整合[3]。
机器利用电脑视觉技术，识别人类的姿势和动作，理解其传递的信息、指令，使得人机交互体验更加自然、高效。而识别人类的面部表情和目光，更重要的意义在于传递的情感，进而增强语言、手势传递的含义,这也解释了为什么我们在面对面交流时，会试图注视对方的表情和目光，就是为了准确判断对方的意图和情绪。因此，使机器从“能听会说”到“理解思考”再到“察言观色”，才能全面提高人机交互的智能化水平。
在2019年北美CES展上，奔驰CLA车型搭载的最新人机交互系统，支持复杂语音指令和手势识别。拜腾保留了48寸的车载大屏，同时将触摸屏、语音控制、手势控制、物理按键进行了充分的融合。日产展示了全新的车载AR概念，应用了无形可视化、I2V技术。丰田发布了搭载个性化、情感化感知的全新汽车驾舱。围绕语音识别、手势识别、图像识别等多模态融合交互方式必将成为新的制高点，成为下一代人机交互势不可挡的发展趋势。
2汽车语音交互技术发展现状2.1语音交互技术发展从语音交互整个处理链路来看（图1），可将其分为3部分：语音输入、语音处理和语音输出，其中语音输入包括：语音增强；语音处理包括：语音唤醒、语音识别、语义理解；语音输出包括：语音合成和音效增强。在2006年人工智能第3次浪潮推动下，利用深度学习理论框架将语音交互链路中各模块算法得到升级，并且配合大量数据持续迭代，语音交互成功率得到较大提升，达到可用的门槛，另外随着芯片算力的显著提升以及5G的普及，提高语音交互整体交互成功率。
图1语音交互全链路
2.2语音交互核心技术2.2.1语音增强
声音的信号特征提取的质量将直接影响语音识别的准确率。车内环境噪音源包含发动机噪声、胎噪、风噪、周围车辆噪声、转向灯噪声以及媒体播放声等，这些噪声源都会减弱人声的信号特征，从而加大识别难度。
图2语音增强处理流程
基于麦克风阵列的语音增强算法如图2、图3，包括：波束形成、语音分离、远场拾音与去混响、多通道降噪、声源定位和回声消除等技术，可有效抑制周围环境噪音，消除混响、回声干扰，判断声源的方向，保障输入较干净的音频，提高识别准确率，做到机器能“听得清”[4-5]。目前最新采用基于神经网络的降噪技术在高噪环境下取得较好效果[6]。
图3麦克风阵列结构
2.2.2语音唤醒
语音唤醒是现阶段语音交互的第一入口，通过指定的唤醒词来开启人机交互对话，其技术原理是指在连续语流中实时检测说话人特定语音片段，要求高时效性和低功耗。语音唤醒在技术发展上也经历3个阶段（图4）：启蒙阶段、新技术探索阶段和大规模产业化阶段。从最初的模板规则到最新基于神经网络的方案[7]。另外，配合语音增强中声源定位技术，可实现车内主副驾、前后排等多音区唤醒。
图4语音唤醒技术发展史
2.2.3语音识别
语音识别是将人的语音内容转成文字，其技术原理主要包括2大模型（图5）：声学模型和语言模型，在技术从最初的基于模板的孤立词识别，发展到基于统计模型的连续词识别，并且在近几年深度学习爆发，将语音识别率达到新水平[8-9]。当前语音识别中重点需解决如下3类问题。
（1）语音尾端点检测问题，能量VAD（VoiceActiveDetection）、语义VAD和多模态VAD；
（2）多语种和多方言统一建模问题；
（3）垂类场景和针对单独人群的个性化识别问题。
图5语音识别处理流程
2.2.4语义理解
语义理解是当前语音交互中最难的一环，将人类的表达抽象成统一表示形式以让机器能够理解，在语音交互对话系统中，主要包括：语义抽取、对话管理和语言生成；在技术方案上（图6），近几年随着词向量模型、端到端注意力模型以及谷歌最新BERT模型进步[10-11]（图7），语义理解正确率在部分垂直领域达到基本可用，如汽车领域头部技能“导航、音乐、车控、收音机和电话”等[12]。但是，语义理解最核心的难点是语义表示问题和开放性说法等问题，导致在语义效果评判上很难统一，也是未来人机交互中最核心板块。
图6对话理解技术方案
2.2.5语音合成
语音合成是将文字信息转化为可听的声音信息，让机器会说话，其技术原理上将文字序列转换成音韵序列，再用语音合成器生成语音波形（图8）。语音合成的方法主要有共振峰合成、发音规则合成、波形拼接合成和基于HMM参数合成4种。前2种是基于规则驱动，后2种基于数据驱动，目前主要以数据驱动为主。近年来基于神经网络技术的语音合成，在主观体验MOS分达4.5分，接近播音员水平[13-14]。另外，当前在个性化合成、情感化合成以及方言小语种合成等方面继续探索。
图7自然语言处理[10-11]
图8语音合成处理流程
2.2.6音效增强
音效增强是语音交互全链路最后一环，在基于车内复杂噪声环境及扬声器位置造成的复杂声场环境，进行专业的声学系统设计与调教，还原出自然清晰舞台感明确的音响效果。未经过专业声学处理的音响系统，会丢失声音的定位信息，不能还原音乐的左右空间感和前后纵深感。声音出现杂乱无章，从各个地方出来并互相干扰。根据不同场景包括：3D沉浸环绕声、EOC（EngineOrderCancellation）、超重低音、高精度声场重建、声浪模拟、提示音播报优化、延时修正、声场重建、虚拟低音、限幅调整和车速补偿等音效算法技术[15]。通过加入高级环绕算法，音量随车速动态增益，主动降噪，引擎声优化，能为汽车打造音乐厅级的听感体验（图9）。
图9音效增强的优势
3汽车未来人机交互发展展望3.1汽车人机交互的市场价值从当前的市场和行业发展趋势可预测，到2020年中国汽车的保有量也将超过2亿辆，市场增长空间依然巨大。智能化、网联化、电动化、共享化已成为汽车产业发展的趋势，国家层面陆续发布一系列政策推动汽车产业变革。根据中国汽车流通协会发布的《2019中国汽车消费趋势报告》[16]得出，消费者正从基础功能满足延伸至科技智能追求，智能化、网联化越来越受到关注，2019年智能化关注度相比2018年同比增长30.8%，网联化关注度同比增长52.3%，其中网联化最关注语音和导航体验，另外消费者对语音识别的准确性和反应速度比较看重，而从具体配置上来看，消费者对CarLife、CarPlay和语音识别的需求上升趋势较为明显，这也说明消费者对汽车联网有诉求，但是对原生车机应用效果不满（图10）。
图10消费者对汽车网联化的需求[16]
目前，中国在汽车智能化网联方面处于领先水平，这涉及到“中国汽车市场规模全球最大”、“中国互联网和移动互联网发展迅速”、“国家政策倾向”和“自主车企进步较大”等众多因素影响。面对重大的机遇与挑战，车联网人机交互作为整个智能化的入口，如何给用户提供最便捷和安全的交互方式，对于其未来的发展至关重要。
在人机交互方面的升级将会为未来汽车产生革命性的消费体验，车云研究院发布的《2020智能汽车趋势洞察及消费者调研报告》[17]中，提到智能汽车3大体验革命：个性化体验、智能交互体验和车路协同体验，其中智能交互1.0基本围绕功能交互、触控交互和初级语音交互，智能汽车2.0应建立起以人为中心的个性化服务全新体验，多模、主动和情感交互将成为智能交互典型特征。
3.2汽车人机交互发展趋势3.2.1从“基本可用”到“好用易用”
语音交互的整个链条，包括了语音增强-语音唤醒-语音识别-语义理解-语音合成-音效增强。优秀的语音交互系统，需要全闭环的技术链条上每一个环节都是优秀的，如果过程中某一技术环节出问题，则会导致整个交互过程失败，用户体验效果不好。
图11消费者对汽车网联化具体配置需求[16]
图12智能汽车2.0未来发展典型特征[17]
当前语音交互已经达到基本可用状态，用户已经可以通过语音做垂类领域信息查询以及车辆控制等，但还有许多待解决的问题，主要体现如下3个方面。
（1）核心技术上需要继续突破，包括高噪环境、方言、口音、童声等因素下语音识别鲁棒性问题，语义理解的泛化性以及歧义性问题，个性化和情感化语音合成问题等；
（2）语音交互模式上的持续优化，从最初单轮one-shot模式到全双工免唤醒模式，需要在系统误触发方面技术突破；
（3）信源内容深度对接和打磨，语音交互只是入口，用户希望通过语音便捷的获取到更有价值以及更有趣的内容，则需要语音交互各模块能力与信源内容深度耦合。
3.2.2从“主副驾交互”到“多乘客交互”
目前智能汽车中应用场景交互主要考虑的是主驾驶方位和副驾驶方位2侧，而对于后排的乘车人员的交互过程和交互效果没有得到很好的保证，例如，在功能范围内，主驾驶和副驾驶人员基本可以自由的与车机对话，实现相应的功能，但是对于后排乘客，就有很多制约条件，后排人员距离麦克风位置较远，语音指令不能被很好的检测到，整体交互效果较差。
基于整车多乘客需求，未来将会在车内实现“多乘客交互”的目标，所谓“多乘客交互”就是说，将以往采用的双音区技术更改为四音区技术，在每一个位置前都装1个麦克风，可以让各自位置的乘客通过语音或者其他交互方式控制各自的交互设备，即使在同一时间说出指令也互不影响。例如，当后排右后座位乘客想要打开或者关闭自侧车窗时，可以直接语音指令说“打开车窗/关闭车窗”就可以打开右后侧车窗，其它方位不受影响，而驾驶员（主驾驶）语音指令说“打开车窗”时也只会打开主驾驶一侧的车窗，不会打开车内全部车窗，这也是未来智能汽车更智能更人性化的一种表现。
3.2.3从“被动式执行机器人”到“拟人化贴心助理”
随着智能化技术的不断进步，单纯的功能型产品已经不能满足用户的需求了，用户想要在保证功能的前提下也可以感受到更多的“以人为中心”的产品服务，真正实现让汽车越来越理解人，越来越有温度的理念。通过用户交互的历史数据生成用户的知识图谱和交流风格画像，生成一个针对用户的个性化人机交互策略，该策略具备调动车载系统各项服务（比如车控、音乐、导航、游戏等）的能力，以虚拟形象或实体机器人的方式生成符合用户个性化需求的外表和声音特性与用户主动或被动的进行交流。例如，用户在车上说“查找附近的餐馆”，机器会依据用户的口味和习惯自动推荐符合该用户餐馆；另外驾驶员在开车过程中，机器预测到驾驶途中天气情况恶劣，则主动告知驾驶员天气信息注意开车；车辆发生故障，机器主动告知车辆故障情况，并引导驾驶员到最近的4S店维修；心情不好时候，能够推荐一些喜欢的歌曲或者讲一些笑话等等。
3.2.4从“车内交互”到“跨场景交互”
物联网的出现可以让所有能行使独立功能的普通物体实现互联互通，借助于物联网的浪潮，汽车内跨场景交互也将是智能汽车未来发展的必然趋势。
当前，汽车人机交互的使用场景过于单一，车机系统放在车内只可以控制车内的设备，而对于车外其他场景的控制却无能为力。比如在车内控制自己家中的设备，在车内控制自己办公室的设备，在家中控制车内的设备，在公司控制自己车内的设备，未来“智能汽车-智能家居”、“智能汽车-智能公司”的跨场景交互的实现，不仅可以给车主提供一体化的车-家、车-公司的互联生活，也让智能汽车的发展达到了一个崭新的制高点。
3.2.5从“语音交互”到“多模态交互融合协同”
语音交互的方式已经成为汽车内人机交互的主流方式，但是当车内的噪音比较大时，单纯的语音交互方式就不能完全满足用户的需求，此时多模态融合的交互方式就显得尤为重要，此时用户的诉求就可以通过手势识别、表情识别等多模态相协作的方式来更好的完成交互过程。
多模态融合的交互方式可以根据用户当前所处的场景需要给用户提供不同的交互过程。当驾驶员正在行驶时，眼动跟踪技术会持续检测驾驶员的眼睛，表情识别会随时检测驾驶员脸部表情，当检测出现眼皮下垂、眨眼次数频繁或者驾驶员正在打哈欠时，就会对驾驶员执行语音提示，并自动打开空调设备或者是打开车窗，做一系列给车内通风的动作来帮助驾驶员恢复清醒的意识。如果在高速行驶会自动导航至附近的休息站或者是服务区，不在高速行驶时就会语音提示驾驶员临时靠边停车，以确保驾驶员的行车安全。表情识别可以实时检测驾驶员的面部表情，进而根据驾驶员当前所处的场景来判断其心理情绪，并根据其情绪自动语音打开合适类型的音乐，开启相对应的氛围灯，调节车内氛围以适应车内用户的当下心情，给用户更亲和、更智能化、更沉浸式的体验感受。
4结束语汽车领域在基于人工智能的人机交互整体还算刚起步阶段，语音交互虽然取得较大进步但是还不够稳定，许多场景下替代不了触摸和按键等操作，目前需要在语音、图像以及语义方面拥有技术上的突破，多模态融合和协同的交互模式将成为下一代汽车人机交互的重点。此外，随着无人驾驶和智能驾舱的发展，人们对人机交互的要求越来越高，需要在保障交互的安全性前提下，不断提升交互体验，使驾驶更安全、更便捷和更有趣。
参考文献
[1]林小新.汽车人机交互的前世今生[J].计算机与网络,2018,44(19):42.
[2]练艺,曾晓辉.智能语音在汽车中的应用[J].无线互联科技,2018,147(23):141-144.
[3]杨明浩,陶建华.多模态人机对话:交互式学习能力愈发重要[J].前沿科学,2019(2):41-45.
[4]WarsitzE,Haeb-UmbachMR.BlindAcousticBeamformingBasedonGeneralizedEigenvalueDecomposition[J].IEEETransactionsonAudioSpeech&LanguageProcessing,2007,15(5):1529-1539.
[5]王科攀,高勇.信号相位匹配算法的语音降噪及性能评估[J].声学技术,2010(06):615-619.
[6]ZhangS,LiuC,JiangH,etal.FeedforwardSequentialMemoryNetworks:ANewStructuretoLearnLong-termDependency[J].ComputerScience,2015.
[7]刘凯.基于深度学习的语音唤醒研究及其应用[D].厦门：厦门大学,2018.
[8]WangD,WangX,LvS.AnOverviewofEnd-to-EndAutomaticSpeechRecognition[J].Symmetry,2019,11(8):1018.
[9]冯志伟.自然语言处理综论(第二版)[M].电子工业出版社,2018.
[10]MikolovT,ChenK,CorradoG,etal.EfficientEstimationofWordRepresentationsinVectorSpace[J].ComputerScience,2013.
[11]DevlinJ,ChangMW,LeeK,etal.BERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding[EB/OL].[2018-10-11]https://arxiv.org/abs/1810.04805.
[12]李晓林,张懿,李霖.基于地址语义理解的中文地址识别方法[J].计算机工程与科学,2019,41(03):171-178.
[13]邱泽宇,屈丹,张连海.基于WaveNet的端到端语音合成方法[J].计算机应用,2019,39(05):1325-1329.
[14]JuvelaL,BollepalliB,TsiarasV,etal.GlotNet-ARawWaveformModelfortheGlottalExcitationinStatisticalParametricSpeechSynthesis[J].IEEE/ACMTransactionsonAudio,Speech,andLanguageProcessing,2019(6):1-1.
[15]GimmM,BullingP,SchmidtG.Energy-DecayBasedPostfilterforICCSystemswithFeedbackCancellation[C].ElectronicSpeechSignalProcessing,2018.
[16]佚名.2012中国汽车消费趋势报告[M]//中国汽车社会发展报告（2012～2013）.北京：社会科学文献出版社,2013.
[17]车云网.2020智能汽车趋势洞察及消费者调研报告[R/OL].(2020-03-10)[2021-01-06].http://www.199it.com/archives/1023497.html.
AReviewonDevelopmentTrendsofAutomotiveVoiceInteractionTechnologies
WangXingbao,LeiQinhui,MeiLinhai,ZhangYa,XingMeng（IntelligentAutomobileBusinessUnit,iflytekCo.,Ltd.,Hefei230088）
【Abstract】Automotivenetworkingandintelligencecreateopportunitiesandprospectsforinnovativedevelopmentofautomotivehuman-computerinteraction,inwhichvoiceinteractionhasbecomethemainwayofhuman-computerinteraction.Firstly,thedevelopmentprocessofhuman-computerinteractionfromtheearlyphysicalbuttonstotouchscreenandvoicemultimodalinteractionmodeissummarized,andthentheresearchandapplicationstatusofvoiceinteractiontechnologyathomeandabroadisanalyzed.Finally,thedevelopmenttrendofvoiceinteractiontechnologyisprospected,anditisconcludedthathuman-computerinteractionwillfocuson“basicavailable”to“easytouse”,from“mainandauxiliarydriving”,from“interactive”to“multipassengerinteraction”,from“passiveexecutiverobot”to“personifiedintimateassistant”,from“incarinteraction”to“crosssceneinteraction”,andfrom“voiceinteraction”to“multimodalinteractionfusionandcooperation”.
Keywords:Voiceinteraction,HMI,Speechrecognition,Multi-modal
【欢迎引用】王兴宝,雷琴辉,梅林海,等.汽车语音交互技术发展趋势综述[J].汽车文摘,2021(2):9-15.
【Citethispaper】WangX,LeiQ,MeiL,etal.AReviewonDevelopmentTrendsofAutomotiveVoiceInteractionTechnologies[J].AutomotiveDigest(Chinese),2021(2):9-15.
中图分类号：U461.99
文献标识码：A
DOI:10.19822/j.cnki.1671-6329.20200187