MENU

CNN中的反向传播

February 14, 2020 • Read: 483 • Deep Learning

Pooling层的反向传播

我们知道Pooling操作会使得feature map的尺寸发生变化,假如做$2\times 2$的池化,假设$l+1$层的feature map有16个梯度,那么第$l$层应该需要64个梯度,做法很简单,只需要把1个像素的梯度反向传给4个像素即可,但是要保证传递的梯度总和不变。由于有这条原则,因此avg pooling和max pooling的反向传播并不相同

1. avg pooling

avg pooling的前向传播就是把一个patch(窗口)内的值求和取平均。那么反向传播的过程就是把某个元素的梯度等分成n份,分配给前一层,这样就保证了池化前后的梯度之和保持不变,还是比较好理解的,图示如下

avg pooling比较容易让人理解错的地方就是以为梯度直接复制N遍,但是这样会造成loss之和变为原来的N倍,网络会发生梯度爆炸

2. max pooling

max pooling也要满足梯度之和不变的原则,max pooling的前向传播是把patch中最大的值传给后一层,而其他像素的值直接被舍弃掉。那么反向传播也就是把这个梯度直接传给前一层某一像素,儿其它像素不接受梯度,也就是0。max pooling和avg pooling操作的不同点在于需要记录池化时,到底哪个像素的值是最大的,也就是max_id,这个可以看caffe的源码的pooling_layer.cpp,下面是caffe框架max pooling部分的源码

// If max pooling, we will initialize the vector index part
if (this->layer_param_.pooling_param().pool() == PoolingParameter_PoolMethod_MAX
    && top.size() == 1) {
    max_idx_.Reshape(bottom[0]->num, channels_, pooled_height_, pooled_width_);
}    

源码中有一个名为max_idx_的变量,这个变量记录的就是最大值所在的位置,因为在反向传播中要用到。前向传播和反向传播的过程如下图所示

Archives Tip
QR Code for this page
Tipping QR Code
Leave a Comment