信息熵是信息论中的一个核心概念，用于衡量一个随机变量的不确定性或信息的平均量度。它由克劳德·香农在1948年提出。信息熵可以分为离散形式和连续形式两种：

离散形式：

对于一个离散随机变量，其可能的取值为 $x_i$，对应的概率为 $P（x_i）$，则随机变量 $X$ 的信息熵 $H（X）$ 定义为：

$$

H(X) = -\sum_{i=1}^{n} P(x_i) \log_2 P(x_i)

$$

其中，$\log_2$ 是以2为底的对数，单位是比特（bit）。

连续形式：

对于一个连续随机变量，其概率密度函数为 $f（x）$，则随机变量 $X$ 的信息熵（也称为微分熵）定义为：

$$

H(X) = -\int_{-\infty}^{\infty} f(x) \log_2 f(x) \, dx

$$

其中，$\log_2$ 可以是自然对数（以e为底），此时单位是纳特（nat），也可以是以2为底的对数，此时单位是比特（bit）。

信息熵仅依赖于随机变量的分布，而与随机变量的取值无关，因此离散和连续随机变量的信息熵通常分别记为 $H（X）$ 和 $H（X）$。

应用

信息熵在多个领域有广泛应用，包括但不限于：

通信：用于信息编码和传输，衡量信息的不确定性，从而优化编码方案。

密码学：用于度量信息的安全性，较高的信息熵意味着更难破解。

统计学：用于分析数据的不确定性，进行预测和决策。

金融：用于度量系统或资产的风险，如金融市场的波动性。

例子

低熵信息：如果某个消息或数据格式非常固定且重复性强，其信息熵较低，因为编码所需的信息量较少。例如，“营销号”的内容通常具有低熵，因为它们包含大量重复和可预测的信息。

高熵信息：如果某个事件或数据具有高度的不确定性和随机性，其信息熵较高，需要更多的信息来描述。例如，自然界的随机事件或复杂系统的行为通常具有较高的信息熵。

信息熵是衡量信息不确定性的重要工具，广泛应用于多个学科和领域。通过理解和应用信息熵，可以更好地处理和分析不确定性，从而做出更准确的预测和决策。