Передача дискретных сообщений по каналам связи

Канал связи представляет собой совокупность технических средств и физических сред, предназначенную для передачи сообщений из одной точки пространства в другую. Эта передача чаще всего осуществляется в условиях неизбежных помех. В результате воздействия помех каждый отправленный символ xiможет быть опознан получателем как символ Передача дискретных сообщений по каналам связи - №1 - открытая онлайн библиотека , причем yk Передача дискретных сообщений по каналам связи - №2 - открытая онлайн библиотека xi. Такое событие называют ошибкой.

Передачу символов сообщения можно рассматривать как составной эксперимент, состоящий в отправлении символов сообщения Передача дискретных сообщений по каналам связи - №3 - открытая онлайн библиотека и получения символов Передача дискретных сообщений по каналам связи - №1 - открытая онлайн библиотека . С точки зрения теории информации физическое устройство канала несущественно, а свойства канала при этом полностью описываются матрицей переходных вероятностей Передача дискретных сообщений по каналам связи - №5 - открытая онлайн библиотека или Передача дискретных сообщений по каналам связи - №6 - открытая онлайн библиотека ,

где Передача дискретных сообщений по каналам связи - №7 - открытая онлайн библиотека есть вероятность передачи символа Передача дискретных сообщений по каналам связи - №3 - открытая онлайн библиотека , если зафиксирован полученный символ Передача дискретных сообщений по каналам связи - №1 - открытая онлайн библиотека ,

Передача дискретных сообщений по каналам связи - №6 - открытая онлайн библиотека – вероятность получения символа Передача дискретных сообщений по каналам связи - №1 - открытая онлайн библиотека , если зафиксирован (передается) символ Передача дискретных сообщений по каналам связи - №3 - открытая онлайн библиотека .

При этом предполагается, что новые символы (сверх заданного объема алфавита m) не могут быть созданы под влиянием помех.

Следовательно,

Передача дискретных сообщений по каналам связи - №13 - открытая онлайн библиотека ; Передача дискретных сообщений по каналам связи - №14 - открытая онлайн библиотека .  

Если помехи отсутствуют, то все диагональные элементы матрицы Передача дискретных сообщений по каналам связи - №15 - открытая онлайн библиотека или матрицы Передача дискретных сообщений по каналам связи - №16 - открытая онлайн библиотека равны единице, а остальные – нулю. При очень больших помехах все элементы матриц могут быть приблизительно одинаковыми.

При наличии помех, передача символа Передача дискретных сообщений по каналам связи - №3 - открытая онлайн библиотека не снимает полностью неопределенность относительно полученного символа Передача дискретных сообщений по каналам связи - №1 - открытая онлайн библиотека . Таким образом, передача символов по каналу описывается ниже перечисленными мерами неопределенности (энтропиями).

Неопределенность передаваемых символов при условии их независимости Передача дискретных сообщений по каналам связи - №19 - открытая онлайн библиотека :

Передача дискретных сообщений по каналам связи - №20 - открытая онлайн библиотека .  

Неопределенность полученных символов Передача дискретных сообщений по каналам связи - №21 - открытая онлайн библиотека :

Передача дискретных сообщений по каналам связи - №22 - открытая онлайн библиотека .  

Неопределенность получения символов при зафиксированном символе Передача дискретных сообщений по каналам связи - №23 - открытая онлайн библиотека :

Передача дискретных сообщений по каналам связи - №24 - открытая онлайн библиотека .  

Эта величина называется частной энтропией принятых символов.

Полная энтропия принятых символов вычисляется усреднением Передача дискретных сообщений по каналам связи - №25 - открытая онлайн библиотека по вероятностям передаваемых символов Передача дискретных сообщений по каналам связи - №3 - открытая онлайн библиотека :

Передача дискретных сообщений по каналам связи - №27 - открытая онлайн библиотека  

Величину Передача дискретных сообщений по каналам связи - №28 - открытая онлайн библиотека называют средней условной энтропией принимаемых символов.

Неопределенность передаваемых символов при зафиксированном принятом символе Передача дискретных сообщений по каналам связи - №29 - открытая онлайн библиотека :

Передача дискретных сообщений по каналам связи - №30 - открытая онлайн библиотека  

Эта величина является частной энтропией передаваемых символов.

Полную энтропию передаваемых символов находят усреднением энтропии Передача дискретных сообщений по каналам связи - №31 - открытая онлайн библиотека по вероятностям принимаемых символов Передача дискретных сообщений по каналам связи - №1 - открытая онлайн библиотека :

Передача дискретных сообщений по каналам связи - №33 - открытая онлайн библиотека .  

В соответствии с основным соотношением теории информации (1.3), прирост количества информации (I ), связанный с приемом одного символа сообщения, определяется выражением:

Передача дискретных сообщений по каналам связи - №34 - открытая онлайн библиотека (3.1)

где Передача дискретных сообщений по каналам связи - №35 - открытая онлайн библиотека – априорная вероятность появления символа;

Передача дискретных сообщений по каналам связи - №36 - открытая онлайн библиотека – апостериорная вероятность появления этого же символа. Справедливо также соотношение:

Передача дискретных сообщений по каналам связи - №37 - открытая онлайн библиотека . (3.2)

Из выражений (3.1) и (3.2) видно, что, по мере уменьшения помех, величина Передача дискретных сообщений по каналам связи - №38 - открытая онлайн библиотека будет стремиться к Передача дискретных сообщений по каналам связи - №39 - открытая онлайн библиотека , а при увеличении помех будет стремиться к нулю.