香农公式推导过程
2025-10-06
香农公式是由信息论的创始人克劳德·香农（Claude Shannon）在1948年提出的，用于计算离散信源的信息熵。下面是香农公式的推导过程： 假设我们有一个离散的随机变量X，它可以取到的所有值是{x1, x2, ..., xn}，对应的概率分布为{p1, p2, ..., pn}。其中每一个xi表示信源可能输出的一个符号，pi表示对应的概率。...
2025-10-06
香农公式是由信息论的创始人克劳德·香农（Claude Shannon）在1948年提出的，用于计算离散信源的信息熵。下面是香农公式的推导过程： 假设我们有一个离散的随机变量X，它可以取到的所有值是{x1, x2, ..., xn}，对应的概率分布为{p1, p2, ..., pn}。其中每一个xi表示信源可能输出的一个符号，pi表示对应的概率。...