熵的相关概念

信息量（自信息）

信息的大小跟随机事件的概率有关。越小概率的事情发生了产生的信息量越大。

因此一个具体事件的信息量应该是随着其发生概率而递减的，且不能为负。

信息量公式

$h(x)=-log_{2}^{p(x)}$

1. 为什么使用对数形式

有两个不相关的事件x和y，则信息量满足h(x,y) = h(x) + h(y)，概率满足p(x,y) = p(x)*p(y)

可以看出h(x)与p(x)的对数有关。 $log^{p(x,y)} = log^{p(x)*p(y)}=log^{p(x)}+log^{p(y)}=h(x)+h(y)=h(x,y)$

2. 使用负号，保证 $h(x)\geq 0$

3. 使用以2为底，遵循信息论的普遍传统

信息熵

考虑随机变量的所有可能取值，所带来的信息量的期望

$H(x)=-\sum_{i=1}^np(x_{i})\log p(x_{i})$

衡量随机变量或整个系统的不确定性。

如果随机变量不确定性越大，出现不同情况越多，那么信息熵越大。

交叉熵

假如一个随机变量X的真实分布是（1/2，1/4, 1/8，1/8），则信息熵H(x)=1/2 * 1 + 1/4 * 2 + 1/8 * 3 + 1/8 * 3= 1.75。如果忽略真实分布，认为X的分布是（1/4，1/4，1/4，1/4），则这个分布就是非真实分布。根据非真实分布计算信息熵，H(x)=1/2 * 2 + 1/4 * 2 + 1/8 * 2 + 1/8 * 2 = 2，大于1.75。因此，根据系统的真实分布计算系统信息熵是最小的。

交叉熵，衡量在给定的真实分布下，使用非真实分布计算系统的不确定性。

公式： $-\sum_{i=1}^n p(x_{I})\log q(x_{i})$ ，其中 $p(x_{i})$ 表示真实分布， $q(x_{i})$ 表示非真实分布。