欢迎关注公众号:DeepL Newer

MENU

Cross Entropy

January 4, 2020 • Read: 1736 • Deep Learning阅读设置

Entropy

$$ \begin{align*} Entropy &= \sum_i P(i)log\frac{1}{P(i)} \\ &= -\sum_i P(i)logP(i) \end{align*} $$

上面的公式是香农熵的定义,但看这个式子可能没有什么感觉,下面我们举个例子

假设有四个人,每个人中奖概率是均等的(都是$\frac{1}{4}$),我们算一下这个分布的Entropy

a = torch.full([4], 1/4.) # tensor([0.2500, 0.2500, 0.2500, 0.2500])
print("Entropy:",-(a*torch.log2(a)).sum()) # Entropy: tensor(2.)

熵越高,代表越稳定,越没有惊喜度

假设还是四个人,但中奖概率变为0.1,0.1,0.1,0.7,此时Entropy变成多少了呢?

a = torch.tensor([0.1, 0.1, 0.1, 0.7])
print("Entropy:", -(a*torch.log2(a)).sum()) # Entropy: tensor(1.3568)

我们计算得到这种情况熵变小了,可以理解为,假设在这种概率分布的情况下,告诉你中奖了,你的惊喜程度会比同等中奖概率下的惊喜程度要大

最后,假设中奖概率变为0.001,0.001,0.001,0.997,此时Entropy变为多少了呢?

a = torch.tensor([0.001, 0.001, 0.001, 0.997])
print("Entropy:", -(a*torch.log2(a)).sum()) # Entropy: tensor(0.0342)

这种情况的熵更小了,说明在这种概率分布情况下,你中奖的惊喜程度特别特别大

Cross Entropy

计算一个分布p的Entropy,我们通常用H(p)来表示。计算两个分布的Cross Entorpy,我们通常用H(p,q)来表示,H(p,q)的计算公式为

$$ \begin{align*} H(p,q)&= -\sum p(x) logq(x) \\ &= H(p) + D_{KL}(p|q) \end{align*} $$

其中$D_{KL}$,即Kullback–Leibler divergence,中文翻译是相对熵或信息散度,其公式为

$$ D_{KL}(P|Q) = -\sum_i P(i)ln\frac{Q(i)}{P(i)} $$

简单一点理解就是,假如把P和Q作为函数画出来,它俩重叠的部分越少,$D_{KL}$越大,如果两个函数图像几乎完全重合,$D_{KL}≈0$

如果 $P=Q$, 则Cross Entropy = Entropy

接下来的部分是重点

对于一个Classification问题,我们得到的pred是一个0-1 Encoding,即[0 0...1...0...0],很明显,这个pred的Entropy H(p)=0,因为1log1=0,那么这个pred和真实的Encoding q之间的Cross Entropy

$$ \begin{align*} H(p,q)&= H(p) + D_{KL}(p|q) \\ &= D_{KL}(p|q) \end{align*} $$

也就意味着,当我们去优化p和q的Cross Entropy的时候,如果是0-1 Encoding,它就相当于直接优化p和q的KL divergence,而我们上面也说了,p和q的KL divergence是衡量这两个分布的重叠情况,当KL divergence接近于0时,p和q就越来越接近,这恰好就是我们要优化的目标

下面我们举个例子来说明H(p,q)就是我们需要优化的目标,假设现在有一个5分类问题(可以想象为五种动物),真实的0-1 Encoding $P_1 = [1\ 0\ 0\ 0\ 0]$,预测值为$Q_1 = [0.4\ 0.3\ 0.05\ 0.05\ 0.2]$,则

$$ \begin{align*} H(P_1,Q_1)&= -\sum_i P_1(i)logQ_1(i) \\ &= -(1log0.4 + 0log0.3 + 0log0.05 + 0log0.05 + 0log0.2) \\ &= -log0.4 \\ &≈ 0.916 \end{align*} $$

假设经过一轮参数更新以后,预测值发生了变化$Q_1 = [0.98\ 0.01\ 0\ 0\ 0.01]$,则

$$ \begin{align*} H(P_1,Q_1)&= -\sum_i P_1(i)logQ_1(i) \\ &= -(1log0.98 + 0log0.01 + 0log0 + 0log0 + 0log0.01) \\ &= -log0.4 \\ &≈ 0.02 \end{align*} $$

Cross Entropy大概下降了0.8左右,假如使用MSE作为Loss,大概只会下降0.3~0.4左右,所以我们感性认识一下,使用Cross Entropy梯度下降的更快

import torch
import torch.nn.functional as F
x = torch.randn(1, 784) # [1, 784]
w = torch.randn(10, 784) # [10, 784]
logits = x@w.t() # [1, 10]
pred = F.softmax(logits, dim=1)
pred_log = torch.log(pred)

'''
注意下面cross_entropy和nll_loss传入参数的区别
'''
print(F.cross_entropy(logits, torch.tensor([3])))
# cross_entropy()函数已经把softmax和log打包在一起了,所以必须传一个原生的值logits

print(F.nll_loss(pred_log, torch.tensor([3])))
# null_loss()函数传入的参数需要经过softmax和log
Last Modified: May 3, 2021
Archives Tip
QR Code for this page
Tipping QR Code
Leave a Comment

2 Comments
  1. x x

    感性认识是不对的

    1. mathor mathor

      @x哈哈,您说的有道理