先说自信息，自信息是描述一个事件不确定度的大小（描述随机变量带来的信息大小）书上说是描述随机变量的不确定性的数量（不确定性的数量神马意思嘛），一个事件的不确定度越大，它带来的自信息也就越大，公式：-logp(x) 或者    log1/p(x) （在计算机领域里log都是以2为低的）

比如说某一随机变量的概率为1/5  ， 那么它的自信息就是5比特。（自信息的单位是bite，比特）就是说这个随机变量带来5比特的信息。

熵就是自信息的数学期望也就（自信息的平均值），换句话说熵是信源发出的每一个符号后所带来的信息的平均值（不知道这么理解对不对），所以说熵又称为自信息，公式：Σp(x_i)log1/p(x_i)  ，    你看这个公式和期望的公式是很相似的。

所以和自信息一样，熵越大，不确定度越大，正确估计它的概率越小，反之。越不确定的随机变量越需要大的信息量来确定其值。

自信息是单个事件的信息量，而熵是已给信源的自信息的期望，也就是均值。