MENU

L2正则效果不好?试试WEISSI正则

June 13, 2021 • Read: 3315 • Deep Learning阅读设置

L2正则的表现通常没有理论上说的那么好,很多时候加了可能还有负作用。最近的一篇文章《Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations》从"权重尺度偏移"这个角度分析了L2正则的弊端,并提出了新的WEISSI正则项。本文将指出常见的深度学习模型中存在的"权重尺度偏移(Weight Scale Shif)"现象,这个现象可能会导致L2正则的作用没那么明显。进一步地,我们可以构建一个新的正则项,它具有跟L2类似的作用,但是与权重尺度偏移现象更加协调,理论上来说更加有效。为了方便大家理解,请先阅读L2正则化的一些思考这篇文章

权重尺度偏移

我们知道深度学习模型的基本结构就是"线性变换+非线性激活函数",而现在最常用的激活函数之一是$\text{ReLU}=\max(x, 0)$。有意思的是,这两者都满足"正齐次性",也就是对于$\varepsilon \ge 0$,我们有$\varepsilon \phi(x)=\phi(\varepsilon x)$恒成立。对于其他的激活函数如SoftPlus、GELU、Swish等,其实它们都是$\text{ReLU}$的光滑近似,因此也可以认为它们是满足"正齐次性"

"正齐次性"使得深度学习模型对于权重尺度偏移具有一定的不变性。具体来说,假设一个$l$层的模型:

$$ \begin{aligned} \boldsymbol{h}_l =&\, \phi(\boldsymbol{W}_l \boldsymbol{h}_{l-1} + \boldsymbol{b}_l) \\ =& \,\phi(\boldsymbol{W}_l \phi(\boldsymbol{W}_{l-1} \boldsymbol{h}_{l-2} + \boldsymbol{b}_{l-1}) + \boldsymbol{b}_l) \\ =& \,\cdots\\ =& \,\phi(\boldsymbol{W}_l \phi(\boldsymbol{W}_{l-1} \phi(\cdots\phi(\boldsymbol{W}_1\boldsymbol{x} + \boldsymbol{b}_1)\cdots) + \boldsymbol{b}_{l-1}) + \boldsymbol{b}_l) \end{aligned}\tag{1} $$

假设每个参数引入偏移$\boldsymbol{W}_l = \gamma_l\tilde{\boldsymbol{W}}_l,\boldsymbol{b}_l = \gamma_l\tilde{\boldsymbol{b}}_l$,那么根据正齐次性可得

$$ \begin{aligned} \boldsymbol{h}_l =\left(\prod_{i=1}^l \gamma_i\right) \phi(\tilde{\boldsymbol{W}}_l \phi(\tilde{\boldsymbol{W}}_{l-1} \phi(\cdots\phi(\tilde{\boldsymbol{W}}_1\boldsymbol{x} + \tilde{\boldsymbol{b}}_1)\cdots) + \tilde{\boldsymbol{b}}_{l-1}) + \tilde{\boldsymbol{b}}_l) \end{aligned}\tag{2} $$

如果$\prod\limits_{i=1}^l \gamma_i=1$,那么参数为$\{\boldsymbol{W}_l,b_l\}$就跟参数完全等价了。换句话说,模型对于$\prod\limits_{i=1}^l\gamma_i=1$的权重尺度偏移具有不变性(WEIght-Scale-Shift-Invariance,WEISSI)

与L2正则不协调

刚才我们说只要尺度偏移满足$\prod\limits_{i=1}^l\gamma_i=1$,那么两组参数对应的模型就等价了,但问题是它们对应的L2正则却不等价:

$$ \begin{equation}\sum_{i=1}^l \Vert\boldsymbol{W}_i\Vert_2^2=\sum_{i=1}^l \gamma_i^2\Vert\tilde{\boldsymbol{W}}_i\Vert_2^2\neq \sum_{i=1}^l \Vert\tilde{\boldsymbol{W}}_i\Vert_2^2\end{equation}\tag{3} $$

并且可以证明,如果固定$\Vert \boldsymbol{W}_1\Vert_2,\Vert \boldsymbol{W}_2\Vert_2,...,\Vert \boldsymbol{W}_l\Vert_2$,并且保持约束$\prod\limits_{i=1}^l\gamma_i=1$,那么$\sum\limits_{i=1}^l\left\Vert \tilde{\boldsymbol{W}}_i\right\Vert_2^2$的最小值在

$$ \begin{equation}\Vert\tilde{\boldsymbol{W}_1}\Vert_2^2=\Vert\tilde{\boldsymbol{W}}_2\Vert_2^2=\dots=\Vert\tilde{\boldsymbol{W}}_l\Vert_2^2=l\cdot\left(\prod_{i=1}^l \Vert\boldsymbol{W}_i\Vert_2^2\right)^{1/l}\end{equation}\tag{4} $$

上面的证明主要利用积定和最小性质($a+b\ge 2\sqrt{ab}$变形),即已知$x>0,y>0$,则:

如果积$xy$是定值$p$,那么当且仅当$x=y$时,$x+y$有最小值$2\sqrt{xy}$。实际上我们将其推广到$l$项也是成立的。其中:

$$ x_1 = \Vert\tilde{\boldsymbol{W}}_1\Vert_2^2=\frac{\Vert\boldsymbol{W}_1\Vert_2^2}{\gamma_1^2}\\ x_2 = \Vert\tilde{\boldsymbol{W}}_2\Vert_2^2=\frac{\Vert\boldsymbol{W}_2\Vert_2^2}{\gamma_2^2}\\ \vdots\\ x_l = \Vert\tilde{\boldsymbol{W}}_l\Vert_2^2=\frac{\Vert\boldsymbol{W}_l\Vert_2^2}{\gamma_l^2}\\ $$

因为

$$ x_1x_2\cdots x_l=\prod_{i=1}^{l}\Vert\tilde{\boldsymbol{W}}_i\Vert_2^2=\frac{\prod\limits_{i=1}^l\Vert \boldsymbol{W}_i\Vert_2^2}{\prod\limits_{i=1}^{l}\gamma_i^2}=\prod_{i=1}^l\Vert \boldsymbol{W}_i\Vert_2^2 $$

是定值,所以当

$$ \Vert\tilde{\boldsymbol{W}}_1\Vert_2^2=\Vert\tilde{\boldsymbol{W}}_2\Vert_2^2=\cdots =\Vert\tilde{\boldsymbol{W}}_l\Vert_2^2 $$

时,$\sum\limits_{i=1}^l\left\Vert \tilde{\boldsymbol{W}}_i\right\Vert_2^2$的最小值为

$$ l\cdot\left(\prod_{i=1}^l \Vert\tilde{\boldsymbol{W}}_i\Vert_2^2\right)^{1/l}=l\cdot \left(\prod_{i=1}^l\Vert\boldsymbol{W}_i\Vert_2^2\right)^{1/l} $$

事实上,这就体现了L2正则的低效性。试想一下,假如我们已经训练得到一组参数$\{\boldsymbol{W}_l,b_l\}$,这组参数泛化性能可能不太好,于是我们希望L2正则能帮助优化器找到一组更好的参数(牺牲一点$\mathcal{L}_{\text{task}}$,降低一点$\mathcal{L}_{\text{reg}}$)。但是,上述结果告诉我们,由于权重尺度偏移不变性的存在,模型完全可以找到一组新的参数$\{\tilde{\boldsymbol{W}}_l, \tilde{b}_l\}$,它跟原来参数的模型完全等价(没有提升泛化性能),但是$\mathcal{L}_{\text{reg}}$还更小。说白了,就是L2正则确实起作用了,它使得$\sum\limits_{i=1}^l\Vert\boldsymbol{W}_i\Vert_2^2$更小,但并没有提升模型的泛化性能,没有达到使用L2正则的初衷

WEISSI正则

上述问题的根源在于,模型对权重尺度偏移具有不变性,但是L2正则对权重尺度偏移没有不变性。如果我们能找到一个新的正则项,它具有类似的作用,同时还对权重尺度偏移不变,那么就能解决这个问题了

我们考虑如下的一般形式的正则项

$$ \mathcal{L}_{\text{reg}}=\sum_{i=1}^l\varphi(\Vert\boldsymbol{W}_i\Vert_2)\tag{5} $$

对于L2正则来说,$\varphi(x)=x^2$,只要$\varphi(x)$是关于$x$在$[0,+\infty)$上的单调递增函数,就能保证优化目标是缩小$\Vert\boldsymbol{W}_i\Vert$。要注意我们希望正则项具有尺度偏移不变性,其实并不需要严格要求$\varphi(\gamma x)=\varphi(x)$,而只需要

$$ \frac{d}{dx}\varphi(\gamma x)=\frac{d}{dx}\varphi(x)\tag{6} $$

因为优化过程只需要用到它的梯度。可能有的读者已经看出它的一个解了,其实就是对数函数$\varphi(x)=\log x$,所以新提出来的正则项就是

$$ \begin{aligned} \mathcal{L}_{\text{reg}}&=\sum_{i=1}^l \log \Vert \boldsymbol{W}_i\Vert_2\\ &=\log\left(\prod_{i=1}^l\Vert\boldsymbol{W}_i\Vert_2\right) \end{aligned}\tag{7} $$

除此之外,原论文可能担心上述正则项惩罚力度不够,因此还对参数方向加了个L1的惩罚,总的形式为:

$$ \mathcal{L}_{\text{reg}}=\lambda_1\sum_{i=1}^l\log \Vert\boldsymbol{W}_i\Vert_2+\lambda_2\sum_{i=1}^l\left\Vert \frac{\boldsymbol{W}_i}{\Vert\boldsymbol{W}_i\Vert_2}\right\Vert_2\tag{8} $$

实验效果简述

按惯例展示一下原论文的实验结果,当然既然作者都整理成文了,显然说明是有积极效果的:

对我们来说,无非就是知道有这么个新的选择,炼丹的时候多一种尝试罢了。毕竟正则项这种东西,没有什么理论保证它一定能起作用,别人说得再漂亮也不一定有用,还是只有自己用了才知道效果

Reference

Archives Tip
QR Code for this page
Tipping QR Code
Leave a Comment

已有 1 条评论
  1. 群友 群友

    试试