均匀性增加熵 – 搞英语 → 看世界

假设一个系统有n 个可能状态。当所有状态发生的概率相等时，系统的熵最大。当一个结果必然发生时，系统的熵最小。

你还可以说得更多。从任何一组概率开始，当你朝着更均匀的方向移动时，熵就会增加。而当你朝着更不均匀的方向移动时，熵就会减少。

这些陈述可以被量化，并更精确地表述。这正是本文其余部分将要讨论的内容。

***

令p _i为第 i个状态的概率，令p为p _i的向量。

$\mathbf{p} = (p_1, p_2, \ldots, p_n)$

那么p的熵定义为

$H（\ mathbf {p}）= - \ sum_ {i = 1} ^ n p_i \ log_2 p_i$

如果其中一个p为 1，其余p为零，则H ( p ) = 0。（在熵的定义中，0 log ₂ 0 被视为 0。您可以将其证明为当x趋于零时x log ₂ x的极限。）

如果每个p _i都相等，即p _i = 1/ n ，则H ( p ) = log ₂ n 。这是熵的最大值，而在两个极端之间进行折衷总是会降低熵，这是因为熵函数H是凹函数（证明）。也就是说，如果p ₁是一个概率列表， p ₂是另一个概率列表，那么

$H((1-\lambda) \mathbf{p}_1 + \lambda\mathbf{p}_2) \geq (1 - \lambda) H( \mathbf{p}_1) + \lambda H(\mathbf{p}_2)$

当我们非正式地谈到从p ₁朝p ₂方向移动时，我们的意思是将参数 λ 从 0 增加到不超过 1 的某个正数。

由于熵是凹的，所以不存在局部最大值。当你从任何方向接近全局最大熵的位置（即状态概率相等），熵都会单调增加。