Weighted cross entropy and Focal loss

在CV、NLP等领域，我们会常常遇到类别不平衡的问题。比如分类，这里主要记录我实际工作中，用于处理类别不平衡问题的损失函数的原理讲解和代码实现。

Weighted cross entropy

如果对交叉熵不太了解的请查看，彻底理解交叉熵
加权交叉熵思想是用一个系数描述样本在loss中的重要性。对于小数目样本，加强它对loss的贡献，对于大数目的样本减少它对loss的贡献。
$loss = -\sum_iw*y_i*log(logits_i) + (1-y_i)*log((1-logits_i))$ 这和二值交叉熵仅仅有一点变化，就是在正样本的判别上加了一个 $w$ 系数。 $w$ 是需要事先根据数据集计算。
w的计算逻辑：
假设训练数据集有 $M$ 类，每类的样本数目为 $n_i$ 个， $i$ 从1到 $M$ 。那么有一种median blance的办法计算 $w$ 。
求出这 $M$ 个样本数目的中位数，假设是 $n_x$ ,所有的 $n_i$ 除以 $n_x$ ,得到新的一组系数，这组系数取倒数就得到了对应类别的系数。
例子：
假设数据集有3类，分别对应数目是2，3，5，则中位数为3，每类数目除以3得到一组新系数为 $\frac{2}{3}$ , $\frac{3}{3}$ , $\frac{5}{3}$ ,再取倒数得到最终的系数为1.5，1，0.6。
numpy代码如下：

import numpy as np

def Wce(logits,label,weight):
    '''
    :param logits:  net's output, which has reshaped [batch size,num_class]
    :param label:   Ground Truth which is ont hot encoing and has typr format of [batch size, num_class]
    :param weight:  a vector that describes every catagory's coefficent whose shape is (num_class,)
    :return: a scalar 
    '''
    loss = np.dot(np.log2(logits)*label,np.expand_dims(weight,axis=1)) + \
           np.log2(logits) * (1-label)
    return loss.sum()

Focal loss

Focal Loss for Dense Object Detection
focal loss的设计很巧妙，就是在cross entropy的基础上加上权重，让模型注重学习难以学习的样本，训练数据不均衡中占比较少的样本，相对放大对难分类样本的梯度，相对降低对易分类样本的梯度，并在一定程度上解决类别不均衡问题。
如果将cross loss定义为：
$CE_{loss} = -log(p_t)$ 那focal loss加权后的定义是 $FL_{loss} = -\alpha_t(1-p_t)^\gamma log(p_t)$ 相信很多人都迷惑， $p_t$ 是什么。对一个样本来说， $p_t$ 就是该样本真实的类别，模型预测样本属于该类别的概率。例如某样本的label是[0,1,0]，模型预测softmax输出的各类别概率值为[0.1,0.6,0.3]。该样本属于第二类别，模型预测该样本属于第二类别的概率是0.6。这就是 $p_t$ 。
$p_t$ 实际上就是个阶段函数。
$p_t= \begin{cases} 0.2& \text{y_true=0}\\ 0.6& \text{y_true=1}\\ 0.2& \text{y_true=2}\\ \end{cases}$ 为什么 $p_t$ 这么定义，我们先来求下上例的cross entropy是多少 $CE_{loss} =-\sum_{i=0}^np(x_i)log(q(x_i)) = -(0*log(0.2)+1*log(0.6)+2*log(0.2)) = -log0.024$ loss为-log(pt)，pt可理解为指示函数，指示对于某样例，模型预测该样例属于真实类别的概率值。
二分类是个特例。由于这两个的概率值互斥（总和为1）， $p_t$ 定义如下，也就是论文中的公式。其实和多分类一样，只是知道其中一类的概率 $p(x)$ ，另一类的概率用 $1-p(x)$ 表示而已。 $p_t= \begin{cases} p(x)& \text{y_true=1}\\ 1-p(x)& \text{y_true=0}\\ \end{cases}$ 理解为 $p_t$ 后，整个公式就很好理解了。就是在cross loss前加上了两个权重项 $\alpha_t$ 和 $(1-p_t)^\gamma$ ，下面分别来解释这两个权重项是怎么定义的，有什么作用。

$\alpha_t$
$\alpha_t$ 项用来处理类别不均衡问题，类似于机器学习中训练样本的class_weight。也是个指示函数。例如训练样本中个类别占比为20%，10%，70%。那么 $\alpha_t$ 可以定义如下。其实就是某类别占比较高，就将该类别设置一个较小的权重，占比较低就将其设置一个将大的权重，降低占比高的loss。提高占比低的loss。
$(1-p_t)^\gamma$ 有两个作用

让模型专注于训练难训练的样本，对于模型所属的真实类别，模型的预测值 $p_t$ 的值接近1，说明该样本容易训练，pt值接近0（模型预测该样本属于真实类别的概率是0就说明错的很离谱），样本难以训练。提高难以训练样本的loss。降低好训练样本的loss。 $p_t \in [0,1]$ 。同样 $(1-p_t) \in [0,1]$ 。 $(1-p_t)^\gamma$ 符合我们的要求。(满足我们需求的函数很多，并不强制要求为此函数）
一定程度上也能解决类别不均衡问题。我们经常会遇到一个问题，如果在二分类中，负样本占比0.9。此时模型倾向于将样本全部判负。考虑正常 $CE_{loss}$ 中，由于正负样本的权重一样。 $CE_{loss}$ 包含两部分（90%的负样本（模型判别正确），10%的正样本模型判别错误）。也就是错误样本带来的loss在 $CE_{loss}$ 中只占10%。加上 $(1-p_t)^\gamma$ 项后，会提高正样本判负的loss在总loss中的比重。

import numpy as np

def focal_loss(logits, label, a, r):
    '''
    :param logits: [batch size,num_classes] score value
    :param label: [batch size,num_classes] gt value
    :param a: generally be 0.5
    :param r: generally be 0.9
    :return: scalar loss value of a batch
    '''
    p_1 = - a*np.power(1-logits,r)*np.log2(logits)*label
    p_0 = - (1-a)*np.power(logits,r)*np.log2(1-logits)*(1-label)
    return (p_1 + p_0).sum()