MENU

毕业论文——移动对象位置预测

March 1, 2020 • Read: 525 • Deep Learning

本文简要概述一下我的毕业论文思路,完整可执行代码大概在5月左右开源在Github,主要是为了证明学术诚信,而且太早开源不好,等我快要答辩了再开源

我在一年前写过一篇论文——基于灰色Markov模型的移动对象位置预测研究

当时论文的侧重点主要是研究如何弥补Markov无法揭示整体数据的规律,所以使用了一个简单的回归模型。先用这个回归模型揭示数据的整体规律,然后用Markov对预测结果进行修正,因为Markov能挖掘出相邻时刻数据之间的关系

这次毕业论文本来是打算研究关于NLP的相关内容。但是和指导老师商量了下,他还是推荐我继续完善移动位置预测的问题,所以就继续做这个了

这次论文的大体思路还是不变,依旧采用回归+Markov,只不过把之前比较low的回归模型换成循环神经网络RNN的变种——LSTM

RNN存在的问题是不好训练,很容易产生梯度爆炸或者梯度弥散,具体原因我写在了这篇博客

而LSTM由于其内部独特的结构:遗忘门、输入门、输出门可以很好的避免训练困难的问题,而且由于有这些特殊门的存在,还可以很好的控制记住历史数据的能力。所以我的回归模型就选用的LSTM

我使用的数据集是微软开放的GeoLife,里面包含的字段有lat、lng、zero、alt、days、date、time,每个字段之间的值用逗号分隔,如下图所示

真正有用的只有lat和lng这两列的数据

由于Markov无法对二维数据进行操作,所以我将经度和纬度分开进行预测,然后分别用Markov修正

具体细节

细节实在是太多了,想到哪写到哪

首先,LSTM需要设定一个窗口大小step,即每次送入几个数据,预测下一个数据。例如我现在有序列[1,2,3,4,5,6],设定窗口大小为3,那么整个输入数据就变为[[1,2,3],[2,3,4],[3,4,5],[4,5,6]],而且他们的输出分别需要接近y=[4,5,6]。使用的Loss Function是MSELoss

第一个问题就来了,窗口大小应该设为多少,按照很多论文里面所讲的,一般设置为2-6。我先试了一下2,出现了滞后的问题,即预测值比真实值从图上来看有些滞后。假设$t$时刻真实值是最大值,但是预测值在$t+1$时刻才是最大值,这就是滞后。具体情况见下图

然后我试了一下6,效果也不好,具体来说就是太平滑,似乎是因为窗口大小太大,导致预测出来的数据时效性变差了,被不相干的数据"平均"了。具体情况见下图

总结一下就是,窗口太小,会导致预测值比真实值滞后;窗口太大,网络很难学到细节。这个问题首先应该设定一个比较合适的窗口大小,但是你会发现还会出现一点滞后的问题。具体解决方案现在还不能说

其次,从数据上也能看出,基本上是相隔5秒采集一次经纬度点。5秒,一个人根本移动不了多远,所以也就导致经度和纬度整体变化并不大,最多也只是$10^{-5}$量级的大小。如果不处理一下直接让网络训练,Loss很难降下来,效果会很差

解决方法很简单,将数据做一个标准化即可,这样所有的值都能压缩到[0,1]区间内,放大了所有数据间的变化,避免模型不收敛的问题

最后一个细节,LSTM后面肯定要跟一个Fully Connected Layer,主要是做数据的维度变换,我们只需要一个输出值。那么问题来了,FC层到底应该怎么设置?几层隐藏层比较好?中间要不要Dropout?激活函数选什么?答案是,一层即可。经过我多次实验,我发现全连接层像一个"猪队友",层数越多问题越大,会导致LSTM的训练功亏一篑。本来LSTM已经把握好了整体数据的规律,最后一个全连接层就行了,你非要设置好几层的全连接层,给人一种本末倒置的感觉,到底是LSTM学到的规律重要,还是最后全连接层胡乱训练重要?

一些技巧

在LSTM中我设置了Dropout=0.1,主要是为了防止在训练集上过拟合,毕竟LSTM还是很强大的

Linear层我使用何凯明初始化方法,初始化了其中的所有weight,主要是希望能够训练的更快,以及避免随机初始化的一些问题

Epoch=1000,数据标准化之后,再加上前面的技巧,Loss降得很快,为了避免过拟合,所以Epoch设的比较小

使用了Learning Rate Decay,初始Learning Rate设为lr=1.2e-2,每隔50个epoch,乘以gamma=0.9。主要还是上面的原因,Loss降的很快,所以lr也应该慢慢变小,避免Loss出现大幅抖动。最后训练的Loss如下图

最终训练&测试的结果如下图

展望

其实我还有很多想法,但是由于5月就要答辩了,没有那么多时间一个一个做实验。我分享几个

  • 利用CNN来做时间序列预测。把整个序列画在图上,把这张图作为输入,进行训练,训练出一个相似的图出来,这样也可以达到预测的效果。不过我想了一下,由于CNN具有平移不变性,可能"滞后"的问题会更加严重,不过如果卷积核的SIze设为1应该会好一些
  • 利用EMD将时间序列进行分解,然后对分解的所有序列进行预测,再将这些序列进行叠加
  • 修改Loss,使用MSELoss和KLDivLoss(KLDivergence)组合的Loss。MSELoss计算两个值之间的接近程度,KLDivergence计算两个曲线分布的接近程度
Archives Tip
QR Code for this page
Tipping QR Code
Leave a Comment