信息论
信息是通信系统的来源，无论是模拟的还是数字的。信息论是研究信息编码以及信息量化、存储和通信的数学方法。
事件发生的条件
如果我们考虑一个事件，则存在三个发生条件。
如果事件没有发生，则存在不确定性。
如果事件刚刚发生，则有一个意外的条件。
如果事件已经发生过，那么就有一个条件，那就是掌握一些信息。
因此，这三者发生在不同的时间。这些条件的差异，帮助我们了解事件发生的概率。
熵
当我们观察一个事件发生的可能性时，无论它有多么令人惊讶或不确定，这意味着我们试图从事件的来源了解信息的平均内容。
熵可以定义为每个源符号的平均信息内容的度量。“信息论之父”克劳德·香农给出了一个公式：
$$H = -\sum_{i} p_i\log_{b}p_i$$
其中 $p_i$ 是给定字符流中第 i 个字符出现的概率，b 是所使用算法的基础。因此，这也称为香农熵。
观察通道输出后，通道输入剩余的不确定性称为条件熵。它由 $H(x \arrowvert y)$ 表示
离散无记忆源
以连续时间间隔发出数据的源（与先前的值无关）可以称为离散无记忆源。
该源是离散的，因为它不是按连续时间间隔考虑的，而是按离散时间间隔考虑的。该源是无记忆的，因为它在每个时刻都是新鲜的，而不考虑以前的值。
源代码
根据定义，“给定离散无记忆熵源 $H(\delta)$，任何源编码的平均码字长度 $\bar{L}$ 的边界为 $\bar{L}\geq H (\delta)$”。
简而言之，代码字（例如：单词 QUEUE 的莫尔斯电码是 -.- ..- . ..- . ）始终大于或等于源代码（示例中的 QUEUE）。这意味着，码字中的符号大于或等于源代码中的字母。
频道编码
通信系统中的信道编码，引入冗余控制，以提高系统的可靠性。信源编码减少冗余，提高系统效率。
信道编码由两部分动作组成。
将传入数据序列映射到通道输入序列。
将通道输出序列逆映射为输出数据序列。
最终目标是最小化信道噪声的总体影响。
映射是由发射机在编码器的帮助下完成的，而逆映射是由解码器在接收机处完成的。