信道编码定理

通道中存在的噪声会在数字通信系统的输入和输出序列之间产生不必要的错误。对于可靠的通信，错误概率应该非常低，接近≤ 10 ^{-6 。}

通信系统中的信道编码，引入冗余控制，以提高系统的可靠性。信源编码减少了冗余，提高了系统的效率。

信道编码由两部分动作组成。

最终目标是最小化信道噪声的总体影响。

映射由发射机在编码器的帮助下完成，而逆映射由接收机中的解码器完成。

频道编码

让我们考虑一个具有熵H ( δ)的离散无记忆通道(δ)

T _s表示δ每秒给出的符号

信道容量用C表示

通道可用于每个T _c秒

因此，信道的最大容量为C/T _c

发送的数据 = $\frac{H(\delta)}{T_s}$

如果 $\frac{H(\delta)}{T_s} \leq \frac{C}{T_c}$ 则意味着传输良好并且可以以很小的错误概率进行再现。

其中$\frac{C}{T_c}$是通道容量的临界率。

如果 $\frac{H(\delta)}{T_s} = \frac{C}{T_c}$ 则称系统正在以临界速率发出信号。

相反，如果 $\frac{H(\delta)}{T_s} > \frac{C}{T_c}$，则无法传输。

因此，对于可以在离散无记忆信道上发生的可靠无差错消息，传输的最大速率等于信道容量的临界速率。这称为信道编码定理。