数字通信-信息论
信息是通信系统的来源，无论是模拟的还是数字的。信息论是研究信息编码以及信息量化、存储和通信的数学方法。
事件发生的条件
如果我们考虑一个事件，则存在三个发生条件。
如果事件没有发生，则存在不确定性。
如果事件刚刚发生，则有一个意外的条件。
如果事件已经发生过，那么就有一个条件，那就是掌握一些信息。
这三个事件发生在不同的时间。这些条件的差异有助于我们了解事件发生的概率。
熵
当我们观察一个事件发生的可能性，它有多么令人惊讶或不确定时，这意味着我们试图从事件的来源了解信息的平均内容。
熵可以定义为每个源符号的平均信息内容的度量。“信息论之父”克劳德·香农（Claude Shannon）为其提供了一个公式：
$$H = - \sum_{i} p_i \log_{b}p_i$$
其中p i是给定字符流中第 i 个字符出现的概率， b是所使用算法的基础。因此，这也称为香农熵。
观察通道输出后，通道输入剩余的不确定性称为条件熵。它由 $H(x \mid y)$ 表示
互信息
让我们考虑一个输出为Y、输入为X的通道
令先验不确定性的熵为X = H(x)
（这是在应用输入之前假设的）
为了了解输出的不确定性，在应用输入后，让我们考虑条件熵，假设Y = y k
$$H\left ( x\mid y_k \right ) = \sum_{j = 0}^{j - 1}p\left ( x_j \mid y_k \right )\log_{2}\left [ \frac{1 {p(x_j \mid y_k)} \右]$$
这是 $H(X \mid y = y_0) \: ... \: ... \: ... \: ... \: ... \: H(X \mid y = y_k)$ 的概率分别为 $p(y_0) \: ... \: ... \: ... \: ... \: p(y_{k-1)}$。
输出字母y的 $H(X \mid y = y_k)$ 的平均值为 -
$H\left ( X\mid Y \right ) = \displaystyle\sum\limits_{k = 0}^{k - 1}H\left ( X \mid y=y_k \right )p\left ( y_k \right )$
$= \displaystyle\sum\limits_{k = 0}^{k - 1} \displaystyle\sum\limits_{j = 0}^{j - 1}p\left (x_j \mid y_k \right )p\left ( y_k \right )\log_{2}\left [ \frac{1}{p\left ( x_j \mid y_k \right )} \right ]$
$= \displaystyle\sum\limits_{k = 0}^{k - 1} \displaystyle\sum\limits_{j = 0}^{j - 1}p\left (x_j ,y_k \right )\log_{2 }\left [ \frac{1}{p\left ( x_j \mid y_k \right )} \right ]$
现在，考虑到不确定性条件（应用输入之前和之后），我们知道差异，即 $H(x) - H(x \mid y)$ 必须代表已解析的通道输入的不确定性通过观察通道输出。
这称为通道的互信息。
将互信息表示为 $I(x;y)$，我们可以将整个事情写成一个方程，如下所示
$$I(x;y) = H(x) - H(x \mid y)$$
因此，这是互信息的等式表示。
互信息的性质
这些是互信息的属性。
通道的互信息是对称的。
$$I(x;y) = I(y;x)$$
互信息是非负的。
$$I(x;y) \geq 0$$
互信息可以用通道输出的熵来表示。
$$I(x;y) = H(y) - H(y \mid x)$$
其中 $H(y \mid x)$ 是条件熵
通道的互信息与通道输入和通道输出的联合熵有关。
$$I(x;y) = H(x)+H(y) - H(x,y)$$
其中联合熵 $H(x,y)$ 定义为
$$H(x,y) = \displaystyle\sum\limits_{j=0}^{j-1} \displaystyle\sum\limits_{k=0}^{k-1}p(x_j,y_k)\ log_{2} \left ( \frac{1}{p\left ( x_i,y_k \right )} \right )$$
通道容量
到目前为止我们已经讨论了相互信息。最大平均互信息，在一个信令间隔的瞬间，通过离散无记忆信道传输时，数据最大可靠传输率的概率，可以理解为信道容量。
它用C表示，并以每个通道使用的位数来衡量。
离散无记忆源
以连续时间间隔发出数据的源（与先前的值无关）可以称为离散无记忆源。
该源是离散的，因为它不是按连续时间间隔考虑的，而是按离散时间间隔考虑的。该源是无记忆的，因为它在每个时刻都是新鲜的，而不考虑以前的值。