MENU

Human Language Processing——HMM

August 2, 2020 • Read: 514 • Deep Learning阅读设置

这篇文章主要介绍目前一些语音识别技术与HMM有什么关系,然后你就会发现,很多技术其实有借用HMM的思想

过去,我们用统计模型的方式来做语音识别。$X$是输入语音序列,$Y$是输出文字,我们的目标是穷举所有可能的$Y$,找到一个$Y^*$使得$P(Y|X)$最大化。这个过程叫作解码。根据贝叶斯定律,我们可以把它变成$\frac{P(X|Y)P(Y)}{P(X)}$。由于$P(X)$与我们的解码任务是无关的,因为不会随着$Y$变化而变化。所以我们只需要算$argmaxP(X|Y)P(Y)$。前面这项$P(X|Y)$是Acoustic Model,HMM可以建模,后面那项$P(Y)$是Language Model,有很多种建模方式

之前我们有讲到输出的$Y$可以有很多不同的粒度,比如拿音标,字或词。但这些单位,对HMM的隐变量来说,都太大了。所以我们需要将$P(X|Y)$建模变为$P(X|S)$建模,S为状态,是人定义的,它是比音素 Phoneme 还要小的单位。序列中的每一个音素,都会受到前后音素单位的影响。我们会用一个Tri-phone,把当前的每一个音素,都加上它前后的音素,相当于把原来的音素切得更细。这样d后面的uw,和y后面的uw表达出来就会是不同的单位

假设我们有一段声音信号$X$,它包含了一系列特征向量。我们会先从Start状态转移到第一个状态,发射出一些向量,再到第二个状态,发射出一些向量……以此类推,直至走到END状态

一个状态有两种概率,一种是转移概率,如$P(b|a)$,即当前状态转移到其它状态或不转移状态的概率,另一种是发射概率,如$P(x|"t-d+uw1")$,即该状态发射出某个样子的声学特征向量的概率。 假设每一个状态,它产生出来的声学特征向量有一个固定的分布。我们可以用高斯混合模型,GMM来表示这个概率。这便是为什么我们要用比Phoneme还要小的单位来表示状态。因为我们要假设每个状态发射出来的分布稳定。为什么我们不用字符单位来当作状态呢?c这个字母它的发音不是固定的。它在很多时候是发"ke",但它在h后面就发音"ch"。这样就不适合拿来当作HMM的状态

但我们需要多少的高斯混合模型呢?我们需要30^30×3这么多模型。很多的State在训练中只出现一两次,你根本就估计不准它的高斯混合分布。所以过去有很多关键性的技术叫作Tied-state。它假设某些State的发音就是一样的,所以可以共用同样的高斯混合分布,来减少使用的高斯混合模型的数量。这就好比你有两个命名不一样的指针,都指向了同样的内存。 这个方法在经过很多年很多年的研究之后,就产生了一个终极形态Subspace GMM。所有的State都共用同一个高斯混合模型。它有一个池子,里面有很多高斯分布。每一个State,就好比是一个网子,它去这个池子中捞几个高斯分布出来,当作自己要发射的高斯混合分布。所以每个State既有不同的高斯分布,又有相同的高斯分布。这篇是来自ICASSP 2010年的论文。有趣的是,Hinton在同年也在该论坛上发表了一篇关于深度学习的ASR的论文。但当时大家的注意力都在前一篇论文上,Hinton的研究并没有受到很多重视。原因在,它的表现当时不如SOTA

假设我们已经用给定好的数据算好了发射概率和转移概率,但我们还是算不出$P(X|S)$的概率。这个关键技术叫做Alignment。我们需要知道哪一个声学特征,是由哪一个状态产生的,才有办法用发射概率和转移概率去计算$P(X|S)$。假设我们有3个状态abc。我们需要知道把它变成aabbcc的序列才可以和声学特征对齐一样。我们会存在很多各种不同可能的对齐方式,比如abbbbc。给定的候选对齐状态不同,算出来产生的声学特征的概率也就会不一样。我们就需要穷举所有可能,找到它产生与观测X的声学特征概率最大,最一致的对齐方式。这便是HMM在解码过程中在做的事情

HMM中没有深度学习。当深度学习崛起的时候,人们就开始思考怎么把深度学习用进去。最早的想法都是基于HMM的变体。第一个最常见的方法是Tandem。它在2009年就已经满街都是。它没有变动HMM的模型。深度学习在做的是,怎样获得更好的声学特征。之前的声学特征用的是MFCC做的。而深度学习在做的是,输入一个MFCC,预测它属于哪个状态的概率。接着我们把HMM的输入,由深度学习的输出取代掉声学特征。我们也可以取最后一个隐层或者是bottleneck层

第二个方法是DNN-HMM的混合模型。HMM中有一个高斯混合模型。我们想把它用DNN取代掉。高斯混合模型是给定一个状态,预测声学特征向量的分布,即$P(x|a)$。而DNN是训练一个State的分类器,计算给定一个声学特征下,它是某个状态的概率,即$P(a|x)$。我们用贝叶斯定律,可以得到$P(x|a) = \frac{P(a|x)P(x)}{P(a)}$。$P(a)$可以通过在训练资料中统计得到。$P(x)$可以忽略。有人会觉得这个混合模型的厉害之处在把生场模型HMM中加入了判别模型。这个很早就有人做了,没什么稀奇。也有人觉得他厉害之处在于用有更多参数的深度神经网络替换了GMM。但这小看了参数量也大起来时GMM的表征能力。实际上,这篇论文的贡献在,它让所有的给定观测计算当前可能状态概率,都共用了一个模型。而不是像GMM那样,有很多不同的模型。所以它是一个非常厉害的状态标注的方法。DNN可以是任何神经网络,比如CNN或者LSTM

我们要如何训练一个状态分类器呢?它的输入是一个声学特征,输出是它是某个状态的概率。我们训练这个之前,需要知道每个声学特征和状态之间的对应关系。但实际中的标注数据都是没对齐的。过去的做法是训练一个HMM-GMM,那这个粗糙的模型去做找出一个概率最大的对齐。然后再根据声学特征与状态之间的对齐数据,去训练状态分类器

接着,我们再拿这个训练好的状态分类器,替换掉原来的 HMM-GMM 再对数据对齐,来训练出一个更好的状态分类器。我们反复重复这个过程。用训练得到的DNN去对数据做对齐,再用对齐的数据去训练一个新的DNN

这个方法很强吗?它很强。微软就是用这个方法,在2016年的时候,让语音识别超过了人类水平。实际生产中,因为要考虑到推断速度,端对端的深度学习模型并不多,除了谷歌的手机助理。大部分都是混合模型。语音识别的公认错误率指标大概在5%左右,就已经很强了。专业听写人员就在这个水平。因为正确答案也是人标注的,也存在5%左右的错误率。模型能达到5%算是极限了。很难再往上提升了

在微软的文献中,他们训练了一个49层的残差神经网络。输出有9000个状态类别,输出是一个向量,用的是Softmax作归一化

总结:以前只知道深度学习模型是可以和CRF,为发射概率矩阵建模。没想到它也可以与HMM接,而且思路还是一样的

Archives Tip
QR Code for this page
Tipping QR Code