欢迎关注公众号:DeepL Newer

MENU

跨语言对比学习

November 16, 2021 • Read: 148 • Deep Learning阅读设置

猿辅导在EMNLP2021上的一篇论文Aligning Cross-lingual Sentence Representations with Dual Momentum Contrast提出基于双Momentum网络的对比学习方法。对比学习最近非常火,尤其是以SimCES为首所提出的利用Dropout作为正样本的无监督学习方法。猿辅导的这篇论文和SimCES却不一样,它主要是从网络整体架构入手,基于Momentum网络提出了一种有监督的跨语言句子相似度计算方法

Dual Momentum Contrast

Momentum本意是动量,但是直接翻译过来感觉有些别扭,因此这里就直接用英文表述了。这里简要概述一下Momentum网络结构,如下图所示,它由两个Encoder组成,这两个Encoder网络的结构相同,参数不同

对于图像任务来说,$x^{q}$代表一张图片,$x^{k}$代表多张图片集合(包括图片$x^q$),其中$x^k$中除了$x^q$以外的图片,对于$x^q$来说都是负样本。$q$为$x^q$经过encoder网络后的向量,$k$为经过Momentum encoder网络后的多个向量

回到原论文,给定一个跨语言平行句子集$\{x_i,y_i\}_{i=1}^n$,对于每种语言的句子,分别用特定语言的BERT模型去编码,提取最后一行所有token输出均值的$L_2$正则化作为句向量$h_{x_i},h_{y_i}\in \mathbb{R}^{768}$

这里有一个很巧妙的点在于,两个经过$L_2$正则化后的向量$h_{x_i},h_{x_j}$进行点积的结果,就是这两个向量的余弦相似度,因为$L_2$正则化帮我们对每个向量除以了分母的平方和

论文设计的网络结构图如下所示,其中$sg$表示"stop gradient",即不反向传播;$x$和$y$是来自两个不同语言的句子

每一种语言的BERT都有一个参数为$\boldsymbol{\theta}$的Momentum encoder,可以理解为原BERT的复制,只不过复制的是结构而不是参数,这些Momentum encoder不通过反向传播更新参数,他们的参数更新公式为

$$ \boldsymbol{\theta} = m\boldsymbol{\theta} + (1-m)\boldsymbol{\theta}_{\text{base}}\tag{1} $$

每种语言都有两个存储队列(Memory queues),用于存储最近几批中由相应Momentum encoder编码的$K$个向量。在每个优化步骤中,最老的那批向量会被替换为当前batch的向量。Momentum系数$m\in [0,1]$,通常大家设置的值非常接近1(例如0.999)。$K$一般设置的非常大($> 10^5$),以确保有足够的负样本使模型学习。作者采用InfoNCE Loss作为目标函数

$$ \mathcal{L}(x,y) = -\log \frac{\exp(\mathbf{h}_x\cdot \mathbf{h}_{y}/\tau)}{\sum_{i=0}^K \exp(\mathbf{h}_x\cdot \mathbf{h}_{y_i}/\tau)}\tag{2} $$

$\tau$是一个超参数,至于它的作用可以看我的这篇文章:Contrastive Loss中参数τ的理解。实际上式(2)是一个$K+1$的Softmax分类,其中,$x$的平行语料即正样本为$y=y_0$,所有的负样本$\{y_i\}_{i=1}^K$都在存储队列中

对称地,我们可以定义$\mathcal{L}(y,x)$,因此最终我们的目标是

$$ \min\ \mathcal{L}(x,y)+\mathcal{L}(y,x)\tag{3} $$

训练结束后,我们直接丢弃Momentum encoders,只保留两个BERT分别提取两种语言句子的向量

虽然作者提出的方法以及后续实验都是基于跨语言的,但实际上针对同语言也是适用的,例如给定一个同语言的句子对$(x_i,x_j)$,设句子$y_j$是由句子$x_j$翻译得到的,如果模型训练得比较好,那么对于句子$x_j$和$y_j$的向量表示应该有

$$ \mathbf{h}_{x_j}\approx \mathbf{h}_{y_j} $$

两边同时点乘$\mathbf{h}_{x_i}$得

$$ \mathbf{h}_{x_i}\cdot \mathbf{h}_{x_j}\approx \mathbf{h}_{x_i}\cdot \mathbf{h}_{y_j} $$

后者是跨语言的句子相似度,这正是我们模型所明确优化的

个人总结

实验效果非常好,大幅超越了BERT-Whitening以及BERT-flow,不过这里我就懒得放结果图了,因为我没有在论文中看到他们的源码地址

Archives Tip
QR Code for this page
Tipping QR Code