信息论

信息大小的计算

信息熵：拥有 $M$ 个状态的 $N$ 个时间的信息量为 $N\log_2M$ bit

香农信息熵：对于某事件，发生概率为 $p$ ，则其信息量为 $-\log_2p$ bit

令 $X$ 为拥有 $M$ 个状态的随机变量，其概率分布为 $P(X)$ ，则 $X$ 的熵为：

H(X) = -\sum_{i=1}^{M}P(x_i)\log_2P(x_i)

联合熵表示两个随机变量的熵，定义为：

H(X,Y) = -\sum_{i=1}^{M}\sum_{j=1}^{N}P(x_i,y_j)\log_2P(x_i,y_j)

条件熵表示在已知随机变量 $Y$ 的条件下随机变量 $X$ 的熵，定义为：

H(X|Y) = -\sum_{i=1}^{M}\sum_{j=1}^{N}P(x_i,y_j)\log_2P(x_i|y_j)

注：条件熵是对所有条件概率的统计，而不是某一个条件概率的统计。

H(X_{1:n}) = \sum_{i=1}^{n}H(X_i|X_{1:i-1})

互信息表示两个随机变量之间的相关性，定义为：

\begin{aligned} I(X;Y) &= \sum_{x\in X} P(x) \log_2 Q(x) \\ &= H(X) + H(Y) - H(X,Y) \\ &= H(X) - H(X|Y) \\ &= H(Y) - H(Y|X) \end{aligned}

KL 散度表示两个分布之间的差异，定义为：

\begin{aligned} D_{KL}(P||Q) &= \sum_{i=1}^{M}P(x_i)\log\frac{P(x_i)}{Q(x_i)} \\ &= H(P,Q) - H(P) \end{aligned}