Энтропия источника непрерывных сообщений

Рассмотрим источник непрерывных сообщений, на выходе которого в каждый момент времени Энтропия источника непрерывных сообщений - №1 - открытая онлайн библиотека появляются сигналы Энтропия источника непрерывных сообщений - №2 - открытая онлайн библиотека . Эти сигналы с бесконечно малой вероятностью могут принимать бесконечное множество значений.

Если бы сообщения могли передаваться по каналам абсолютно точно без искажений, то они содержали бы неограниченное количество информации. На самом деле из-за наличия помех и искажений количество информации, получаемой от такого источника, следует определять как разность энтропии до и после получения информации. Эта разность, в отличие от абсолютной величины энтропии источника непрерывных сообщений, имеет конечную величину. Для её нахождения обобщим рассмотренное ранее понятие энтропии источника дискретных сообщений на случай непрерывных сообщений, воспользовавшись естественным предельным переходом.

Обратимся к сигналу Энтропия источника непрерывных сообщений - №2 - открытая онлайн библиотека , возможные значения которого в момент Энтропия источника непрерывных сообщений - №1 - открытая онлайн библиотека характеризуются плотностью распределения вероятностей Энтропия источника непрерывных сообщений - №5 - открытая онлайн библиотека , имеющей вид, показанный на рис. 1.

Энтропия источника непрерывных сообщений - №6 - открытая онлайн библиотека
  Рис. 1. К определению энтропии источника непрерывных сообщений

Произведём квантование области значений Энтропия источника непрерывных сообщений - №7 - открытая онлайн библиотека с шагом Энтропия источника непрерывных сообщений - №8 - открытая онлайн библиотека ( Энтропия источника непрерывных сообщений - №9 - открытая онлайн библиотека – шаг дискретизации непрерывного сигнала во времени). Тогда вероятность попадания некоторого конкретного значения сигнала Энтропия источника непрерывных сообщений - №7 - открытая онлайн библиотека в пределы i-го шага квантования будет примерно равна:

Энтропия источника непрерывных сообщений - №11 - открытая онлайн библиотека ; (1.1)

При этом приближение тем точнее, чем меньше интервал (шаг квантования) Энтропия источника непрерывных сообщений - №8 - открытая онлайн библиотека .

Энтропия такого «дискретного» сигнала равна:

  Энтропия источника непрерывных сообщений - №13 - открытая онлайн библиотека ;     (1.2)
где Энтропия источника непрерывных сообщений - №14 - открытая онлайн библиотека математическое ожидание
         

Перейдем теперь к энтропии непрерывного сигнала, для чего устремим величину Энтропия источника непрерывных сообщений - №8 - открытая онлайн библиотека к нулю, тогда:

Энтропия источника непрерывных сообщений - №16 - открытая онлайн библиотека     (1.3)

Энтропия источника непрерывных сообщений - №17 - открытая онлайн библиотека

Во втором слагаемом величина Энтропия источника непрерывных сообщений - №18 - открытая онлайн библиотека по определению, тогда

Энтропия источника непрерывных сообщений - №19 - открытая онлайн библиотека ;   (1.4)

В этом выражении первое слагаемое является конечной величиной, которая определяется плотностью распределения Энтропия источника непрерывных сообщений - №5 - открытая онлайн библиотека . Эту величину называют дифференциальной энтропией сигнала Энтропия источника непрерывных сообщений - №21 - открытая онлайн библиотека . Её обычно рассматривают как некоторую вспомогательную величину при проведении расчётов.

Энтропия источника непрерывных сообщений - №22 - открытая онлайн библиотека ;   (1.5)

Второе слагаемое при ∆S→0 стремится к бесконечности независимо от значений плотности распределения вероятностей сигнала W(Si). Это означает, что при переходе от дискретной к непрерывной величине энтропия неограниченно возрастает. Это объясняется тем, что при ∆S→0 вероятности попадания в такие малые отрезки становятся бесконечно малыми величинами. В результате неожиданность или непредсказуемость реализаций становится неограниченно большой.

Дифференциальная энтропия гауссовскoго шума с нулевым средним значением и дисперсией Энтропия источника непрерывных сообщений - №23 - открытая онлайн библиотека в окончательном варианте представляет собой:

  Энтропия источника непрерывных сообщений - №24 - открытая онлайн библиотека ;     (1.6)
где Энтропия источника непрерывных сообщений - №25 - открытая онлайн библиотека = Энтропия источника непрерывных сообщений - №26 - открытая онлайн библиотека экспонента
             

Из данного выражения видно, что дифференциальная энтропия гауссовской величины зависит только от значения дисперсии. При этом с ее увеличением дифференциальная энтропия будет монотонно возрастать.

Выводы

1. Из всех видов возможных распределений вероятностей случайных процессов, у которых дисперсия Энтропия источника непрерывных сообщений - №23 - открытая онлайн библиотека является фиксированной величиной, наибольшее значение дифференциальной энтропии имеет гауссовское распределение.